展开菜单
首页 精品内容 本月促销 装机必备 Windows PDF教程 macOS软件 IOS软件 Android AI 专题
全部分类

当前位置:

首页 > 编程开发 > llama.cpp b12432测试构建改善了哪些KV缓存管理行为?

llama.cpp b12432测试构建改善了哪些KV缓存管理行为?

Air Explorer Pro
Air Explorer Pro

Air Explorer Pro是一款跨平台多网盘管理工具,可实现一站式完成不同网盘间文件的互传、搜索和同步等操作。任务管理和过程控制会更完整,持续下载、批量同步或需要稳定传输流程的场景会更适合它。

¥99
Windows/macOS 2026-08-22
正版软件 Windows macOS软件 Pro 文件搜索工具 Pro下载 Pro正版软件 Pro购买
立即下载

llama.cpp b12432预发布构建利用位置索引减少KV序列删除扫描;解释官方函数微基准、删除边界测试及生产评估限制。

本文目录

    llama.cpp b12432的预发布优化针对KV缓存序列删除:不再为每次删除逐一检查全部分配单元,而是使用已有的位置索引。改变的是这段缓存管理工作的代价,不能直接解释为所有模型的生成速度都会按相同比例提高。

    llama.cpp本地模型推理软件

    为什么删除少量位置也可能扫描整个缓存

    KV缓存保存推理过程中使用的键和值。官方合并请求#32380指出,原有seq_rm通过检查缓存里的每个单元来定位某条序列对应的单元。分配的缓存越大,即使只回滚少量位置,也要承担检查大量单元的开销。

    这里应区分分配容量与已经使用的内容。官方基准中的cells表示分配的缓存容量,对应-c参数;used表示对话中已经使用的token数量。两者不是同一个指标,不能把缓存容量直接当成当前对话长度。

    llama.cpp b12432如何缩小查找范围

    这次实现复用了已有的位置索引。索引按位置排序,新的删除函数从p0对应的下界开始,只遍历到p1之前,而不是从第一个缓存单元逐一检查到最后一个。范围采用[p0, p1),也就是包含起点、不包含终点。

    代码仍按序列删除相应关联,并返回成为空单元的最低索引。缓存层据此调整后续寻找可用位置的起点。因此,这不是把全部KV缓存清空,也不是更换模型或扩大上下文上限,而是保持删除语义的同时减少查找工作。

    llama.cpp b12432预发布说明中的KV单元扫描优化

    官方微基准能说明什么

    合并请求作者在Ryzen 7 5800X上进行了单核固定的微基准:使用-O2编译,对一条序列最后4个位置做一次回滚,取2000次运行的中位数。下列数字来自官方合并请求列出的函数微基准,属于该环境下的局部测量结果。

    分配单元cells已用token原master,微秒该修改,微秒
    327682457622.770.70
    13107298304116.731.02
    16358498304145.080.88
    2621448192233.080.60

    这些结果支持“大容量缓存中少量位置回滚的函数开销下降”这一判断。它们没有测量完整请求的首token延迟、每秒生成token数或GPU吞吐,也没有给出各种硬件和模型的统一性能结论。尤其不能将函数微秒数的比值直接当成整个推理服务的加速倍数。

    删除行为是否仍保留原有边界

    本次变更同时增加缓存测试,覆盖删除一条序列尾部时保留另一条序列、p1不包含在删除范围、重复位置的所有对应单元被删除,以及释放位置按单元索引重新使用等情况。对于多个序列共享的单元,移除其中一个序列的关联不会把另一个序列仍需的关联一并清掉。

    这些是官方新增代码与测试所覆盖的边界,不能外推为所有后端的验证结论。b12432的发布页仍标记Pre-release;对生产环境而言,它首先是可评估的测试构建,不能据此作稳定性承诺。

    哪些使用场景更值得关注

    分配较大KV缓存、且经常进行少量位置回滚的推理流程,更贴近这份微基准讨论的问题。若一次请求的大部分时间用于模型计算,减少缓存管理开销对总耗时的影响仍取决于实际负载。此次说明没有要求所有CPU、CUDA、HIP或其他后端用户立即更换环境,也没有披露安全风险或强制迁移期限。

    理解llama.cpp b12432时,重点是“从扫描全部分配单元转向按序列位置范围查找”。它改善了一条明确的内部路径;模型、硬件、上下文大小与应用请求特征,仍然决定用户最终能观察到什么变化。

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    编程开发 AI
    相关文章 更多
    精品专题 更多
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    macOS软件

    正软商城macOS软件专区,精选适用于Mac电脑的办公、设计、影音、效率、开发和系统工具,提供软件功能介绍、macOS兼容版本、正版授权及购买下载服务。

    IOS软件

    正软商城iOS软件专区,精选适用于iPhone和iPad的办公、学习、影音、设计、效率及AI应用,提供功能介绍、适用设备、系统要求和正版获取方式等信息。

    AI

    正软商城AI软件专区,汇集AI写作、AI绘画、AI视频、AI办公、AI编程、AI翻译、智能客服和数据分析等人工智能工具,提供功能介绍、适用平台、收费方式及正版购买信息。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    立刻MV 网页版
    立刻MV 网页版

    立刻MV 面向音乐人、内容创作者和品牌团队,帮助用户低成本完成歌曲 MV、歌词视频、AI 分镜、图生视频与最终合成。

    蛙蛙写作 网页版
    蛙蛙写作 网页版

    蛙蛙写作 AI 创作工具,覆盖小说、剧本、文案,一键生成文稿,打通文字转视频全流程,高效解决创作难题。

    超级简历WonderCV 网页版
    超级简历WonderCV 网页版

    超级简历WonderCV是面向应届生和AI小白的智能求职平台,覆盖简历、面试与职业规划。

    音述AI 网页版
    音述AI 网页版

    音述AI,是一个以“用声音述说故事”为核心的 AI 音乐创作与声音分享社区。

    AionClaw macOS版
    AionClaw macOS版

    AionClaw 是可在桌面端运行的任务型 AI 助手,通过数字专家与技能市场组合办公、创作、数据和开发能力。

    Loomy macOS版
    Loomy macOS版

    Loomy 是科大讯飞推出的桌面 AI 助手,可通过对话、任务与工作目录协助处理办公、内容创作和资料整理。

    AirBuddy 3 macOS版
    AirBuddy 3 macOS版

    AirBuddy 3 是面向 macOS 的蓝牙外设增强工具,可集中查看 AirPods、Beats 与苹果设备电量,提供快速连接、播放控制、电量提醒、桌面小组件和多台 Mac 外设接力等功能。

    AirServer macOS版
    AirServer macOS版

    AirServer macOS版可把 Mac 转换为无线投屏接收端,通过 AirPlay 或 Google Cast 接收手机、平板和电脑画面,并支持多设备同时连接、高清镜像及会话录制,适合家庭娱乐、课堂教学、会议演示和应用展示。

    AnyDesk macOS版
    AnyDesk macOS版

    AnyDesk macOS版是一款适用于远程办公、设备维护和客户支持的远程桌面工具,可连接并操作异地计算机,支持文件传输、无人值守访问、会话权限控制及跨平台协作。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。

    讯飞绘文 网页版
    讯飞绘文 网页版

    讯飞绘文网页版是科大讯飞推出的AI图文创作与内容运营工具,覆盖热点选题、文章生成、稿件校对、智能配图、排版发布和数据复盘等环节,适合自媒体创作者及内容团队在线使用。

    Maya(Autodesk Maya) Windows版
    Maya(Autodesk Maya) Windows版

    Autodesk Maya 是面向影视、电视、动画和游戏行业的专业三维制作软件,集多边形与 NURBS 建模、角色绑定、关键帧和动作捕捉动画、Bifrost 特效模拟、材质开发及 Arnold 渲染于一体,

    Aperty Windows版
    Aperty Windows版

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    立刻MV 网页版
    立刻MV 网页版

    立刻MV 面向音乐人、内容创作者和品牌团队,帮助用户低成本完成歌曲 MV、歌词视频、AI 分镜、图生视频与最终合成。

    蛙蛙写作 网页版
    蛙蛙写作 网页版

    蛙蛙写作 AI 创作工具,覆盖小说、剧本、文案,一键生成文稿,打通文字转视频全流程,高效解决创作难题。

    超级简历WonderCV 网页版
    超级简历WonderCV 网页版

    超级简历WonderCV是面向应届生和AI小白的智能求职平台,覆盖简历、面试与职业规划。

    音述AI 网页版
    音述AI 网页版

    音述AI,是一个以“用声音述说故事”为核心的 AI 音乐创作与声音分享社区。

    AionClaw Windows版
    AionClaw Windows版

    AionClaw 是可在桌面端运行的任务型 AI 助手,通过数字专家与技能市场组合办公、创作、数据和开发能力。

    Loomy Windows版
    Loomy Windows版

    Loomy 是科大讯飞推出的桌面 AI 助手,可通过对话、任务与工作目录协助处理办公、内容创作和资料整理。

    即将离开本站
    您即将前往第三方网站,请确认是否继续?