llama.cpp b12477 的 K/V 分块读取优化适用于哪些 CUDA 内核?
作者:浅夏落日西沉
时间:2026-11-18
浏览:0
Air Explorer Pro
Air Explorer Pro是一款跨平台多网盘管理工具,可实现一站式完成不同网盘间文件的互传、搜索和同步等操作。任务管理和过程控制会更完整,持续下载、批量同步或需要稳定传输流程的场景会更适合它。
¥99
Windows/macOS
2026-08-22
llama.cpp b12477 对多阶段 CUDA FP16 MMA Flash Attention 轮转 K/V 分块的读取顺序,目的是提高缓存重用。改动未扩展到单阶段内核。
本文目录
llama.cpp b12477 对多阶段 CUDA FP16 MMA Flash Attention 轮转 K/V 分块的读取顺序,目的是提高缓存重用。改动未扩展到单阶段内核。

改变的是哪一段读取逻辑
使用 stream-K 时,共享同一 K/V 缓存的 CUDA 线程块可以同时读取不同的分块,从而减少二级缓存的复用机会。b12477 的实现为多阶段 FP16 MMA Flash Attention 调整分块读取顺序,使不同线程块更容易重用现有缓存。

哪些内核不在这次改动范围内
维护者在单阶段内核中观察到退化,因此未把轮转策略用于单阶段。发布提供了不同平台的构建,但该优化针对 CUDA 的特定注意力计算路径。仅凭是否用了 b12477 无法推导出 CPU、其他 GPU 后端或所有 CUDA 调用都会获益。
如何解读维护者的长上下文基准
维护者在 GeForce RTX 5090 和 Qwen3.8-27B-UD-Q4_K_M.gguf 上给出预填充对照。表中 131072 和 65536 的深度下提升明显,多个较短深度的成绩近似持平。表中数值属于这套 GPU、模型及预填充条件,不代表其他模型或生成阶段的统一加速比。
作者最新文章
Word秒变PDF有哪4种方法?Word转PDF哪种更快
2026-11-13 17:21
可以同时安装wps和office吗
2026-11-02 21:33
camtasia怎么抠像 绿幕素材处理步骤
2026-10-28 10:01
会声会影移动字幕跟踪遮挡怎么添加关键帧
2026-10-14 10:22
樱花动漫官网登录入口_樱花动漫在线观看官方入口
2026-10-09 00:15
热门文章
更多
精品专题
更多
Mac软件
更多
WINDOWS
更多





























