llama.cpp b12474 将 Qwen3-Next 权重缩放应用在哪一层?
作者:早睡啦路漫漫
时间:2026-11-17
浏览:0
Air Explorer Pro
Air Explorer Pro是一款跨平台多网盘管理工具,可实现一站式完成不同网盘间文件的互传、搜索和同步等操作。任务管理和过程控制会更完整,持续下载、批量同步或需要稳定传输流程的场景会更适合它。
¥99
Windows/macOS
2026-08-22
llama.cpp b12474 预发布版将 Qwen3-Next 的权重缩放纳入线性注意力的输出投影。该变化位于生成最终注意力结果之后、返回投影输出之前。
本文目录
llama.cpp b12474 预发布版将 Qwen3-Next 的权重缩放纳入线性注意力的输出投影。该变化位于生成最终注意力结果之后、返回投影输出之前。

源码变化落在哪里
在 Qwen3-Next 的 build_layer_attn_linear 函数内,输出投影调用使用 ssm_out 和 final_output,本次新增同一模型层的 ssm_out_s。

这个参数对应什么
ssm_out 表示输出投影的权重,ssm_out_s 是对应的缩放参数。新的 build_lora_mm 调用把该缩放随权重一起带入输出投影步骤。

适用范围如何判断
llama.cpp b12474 的说明仅定位到 Qwen3-Next 的线性注意力。官方未公布这项改动的通用性能收益。
作者最新文章
vegas怎么把视频剪辑 新手剪切步骤
2026-10-25 18:16
StartAllBack开机启动设置在哪里及设置方法
2026-10-09 13:41
blender导出stl有一个八边形怎么去掉
2026-10-08 10:14
3ds Max贴图与UVW Map调整:从材质赋予到坐标校正
2026-10-07 10:36
热门文章
更多
精品专题
更多
Mac软件
更多
WINDOWS
更多

























