内存通胀“终结者”？谷歌公开最新极限压缩算法
要破解大模型面临的算力难题，降低其训练和运行时所需的存储与计算空间，路径其实不少。关键是要理清：痛点究竟是在训练环节，还是在推理环节？市面上主流的稀疏化、量化、模型压缩与知识蒸馏等技术，各有侧重，而不同的研究机构和模型厂商，也基于自身的技术栈和场景需求，选择了不同的突破方向。 就拿让许多模型头疼的长
要破解大模型面临的算力难题，降低其训练和运行时所需的存储与计算空间，路径其实不少。关键是要理清：痛点究竟是在训练环节，还是在推理环节？市面上主流的稀疏化、量化、模型压缩与知识蒸馏等技术，各有侧重，而不同的研究机构和模型厂商，也基于自身的技术栈和场景需求，选择了不同的突破方向。
就拿让许多模型头疼的长上下文任务来说吧。过去两年，业内算法团队的一个主流思路，是围绕“键值缓存”做文章，提出了分离式架构设计——也就是根据预填充和解码的不同计算特性，将它们分别部署到不同的服务器上。但这种方案在应对大批次处理和排队场景时，对系统内存带宽提出了更高要求。说白了，对于很多推理任务而言，真正的瓶颈往往不在于算得快不快，而在于数据从内存里“搬”得够不够快。
今天，谷歌推出了一项名为TurboQuant的新算法，瞄准的正是这个核心痛点：大模型运行时恐怖的内存消耗。它的目标很明确，就是让AI在“思考”和“回答”时，占用少得多的工作内存，同时还能保持几乎等价的智力水平，甚至反应更快。
这项技术的潜在影响是显而易见的。在模型推理侧，处理百万级Token上下文的成本有望显著下降；对于向量数据库，实时索引和亚毫秒级查询将更容易实现；而在边缘AI领域，手机和嵌入式设备运行长上下文推理也不再是遥不可及的幻想。此外，这一思路完全可以延伸到多模态领域，用于向量数据的压缩。
市场总是最敏锐的。就在这项技术发布的当天，美股存储板块，包括美光科技、闪迪等公司的股价应声下跌。近几年，受全球数据中心建设热潮的推动，内存、固态硬盘等存储产品一度供应紧张、价格高企。市场的这一反应不难理解：一旦TurboQuant这类技术得到广泛应用，未来AI推理服务器对内存容量规格的需求预期将被重塑，整个硬件成本曲线可能因此改变。
要真正理解TurboQuant的价值，得先弄明白大模型生成文本的基本原理。它们并非一下子吐出整段话，而是像我们人类边想边说，一个字一个字地往外“蹦”。在这个过程中，模型需要一个“临时记事本”，用来记住之前所有对话或文本的内容，避免对相同信息反复计算。这个技术上的“记事本”，就是键值缓存。麻烦在于，对话越长，“记事本”就越厚，对昂贵的高性能内存的占用也就越惊人。在处理超长文档或复杂多轮对话时，KV Cache会迅速成为拖慢AI速度、推高运行成本的主要瓶颈。
TurboQuant的破解之道，在于两个精巧的算法组合：负责主压缩的PolarQuant，和负责精细校正的QJL，双管齐下，目标直指压缩KV Cache中的高维向量。
第一步：PolarQuant——高质量压缩
传统的量化方法，好比用“东南西北”的直角坐标来记录一个点的位置。而TurboQuant的第一步PolarQuant，则换了一种思路，改用“角度和距离”的极坐标来描述。研究发现，经过一种特定的数学变换后，高维向量的数值分布会变得非常规整，就像一个刻好固定刻度的圆形标尺。这样一来，系统就能提前准备一套最优的压缩“密码本”，无需每次对话都临时校准，实现了真正的在线实时压缩。这一步，用大部分的比特位完成了对数据主体的高质量“瘦身”。
第二步：QJL——消除隐藏误差
主压缩之后，总会残留一些微小的误差。如果置之不理，当AI计算“注意力”（即判断该关注对话中的哪部分内容）时，这些误差会不断累积，最终导致“关注点”出现偏差。TurboQuant的第二个创新点，就是用名为QJL的方法来处理这些残差。QJL的聪明之处在于，它仅用1个比特来标记残差的方向，然后与高精度的原始查询向量结合，最终能实现无偏差的内积估算。这意味着，数据虽然被大幅压缩了，但AI在判断“信息重要性”时，得出的结论依然精准可靠。
根据谷歌官方博客披露的数据，TurboQuant带来了接近理论极限的性能提升：
极致压缩：能将KV Cache压缩到每通道仅3比特，与传统16或32比特存储相比，内存占用减少至少6倍。在长上下文测试中，即便经过如此极致的压缩，模型仍然能精准找到隐藏信息，表现满分。
精度无损：在多个标准长上下文基准测试上，使用3.5比特配置的TurboQuant，模型性能与使用全精度缓存时完全一致；即便是2.5比特配置，性能也只有轻微下降。
速度飞跃：由于需要从内存中读取的数据量锐减，计算速度获得极大提升。在H100 GPU上，4比特TurboQuant处理注意力核心步骤的速度，比未压缩的32比特版本快了整整8倍。
总而言之，TurboQuant能够以极低的内存占用、近乎零的预处理时间，构建并查询高精度的大型向量索引。这使得谷歌规模的语义搜索变得更快、更高效。当然，这项技术的意义绝不仅仅是实验室里的突破。据博客透露，虽然TurboQuant目前主要解决的是Gemini等模型的KV Cache瓶颈，但其底层技术同样适用于任何需要在高维向量数据库中进行海量搜索的场景，比如现代的语义搜索引擎。
该技术的相关论文已被接收，将于ICLR 2026和AISTATS 2026学术会议上正式发表。
相关链接：https://research.google/blog/turboquant-redefining-ai-efficiency-with-extreme-compression/
相关论文链接：https://arxiv.org/pdf/2502.02617
（本文作者 | 杨丽，编辑 | 杨林）
正软商城本月促销专区，汇集办公、设计、安全、影音、系统工具及AI软件等正版软件优惠活动，提供限时折扣、特价授权和优惠购买信息，活动库存及价格以页面实时展示为准。
正软商城装机必备专区，精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件，帮助用户快速完成新电脑软件配置。
正软商城Windows软件专区，汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件，提供软件介绍、系统要求、正版授权及购买下载服务。
正软商城macOS软件专区，精选适用于Mac电脑的办公、设计、影音、效率、开发和系统工具，提供软件功能介绍、macOS兼容版本、正版授权及购买下载服务。
正软商城iOS软件专区，精选适用于iPhone和iPad的办公、学习、影音、设计、效率及AI应用，提供功能介绍、适用设备、系统要求和正版获取方式等信息。
正软商城AI软件专区，汇集AI写作、AI绘画、AI视频、AI办公、AI编程、AI翻译、智能客服和数据分析等人工智能工具，提供功能介绍、适用平台、收费方式及正版购买信息。
正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法，同时介绍常用PDF软件和工具的使用技巧。
赤友清理大师是一款为 Mac 设计的智能清理优化工具，可精准扫描垃圾、大文件、重复文件等，释放磁盘空间。做扫描整理、文字提取和表格转换时，它能把识别后的处理步骤接得更顺，资料录入这类场景会省下不少时间。
极度公式是一款跨平台专业LaTeX公式识别编辑软件，支持OCR公式识别和多平台编辑。和使用说明，避免使用，享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时，它能把识别后的处理步骤接得更顺，资料录入这类场景会省下不少时间。
一款文字处理软件，一种订阅式的跨平台办公软件，基于云平台提供多种服务，通过将 Excel 和 Outlook 等应用与 OneDrive 和 Microsoft Teams 等强大的云服务相结合，Office 365 可让任何人使用任何设备随时随地创建和共享内容。
CodeExpander 是一款快捷短语输入增强工具，通过键入缩写自动展开为自定义文段，提升工作效率。任务管理和过程控制会更完整，持续下载、批量同步或需要稳定传输流程的场景会更适合它。
Mountain Duck 是一款能将多个网盘挂载到本地的工具，像本地磁盘一样使用网盘。清理链路的完整性会更好一些，做应用卸载、残留处理和空间整理时，通常能少走很多手动排查步骤。
极度公式是一款跨平台专业LaTeX公式识别编辑软件，支持OCR公式识别和多平台编辑。和使用说明，避免使用，享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时，它能把识别后的处理步骤接得更顺，资料录入这类场景会省下不少时间。
一款文字处理软件，一种订阅式的跨平台办公软件，基于云平台提供多种服务，通过将 Excel 和 Outlook 等应用与 OneDrive 和 Microsoft Teams 等强大的云服务相结合，Office 365 可让任何人使用任何设备随时随地创建和共享内容。
Wise Folder Hider Pro 是一款专业级文件和文件夹隐藏加密软件，为私密数据添加多重保护。高频操作更强调就近处理，浏览、整理和跨目录移动文件时，来回切换和重复点击都会少很多。
CodeExpander 是一款快捷短语输入增强工具，通过键入缩写自动展开为自定义文段，提升工作效率。任务管理和过程控制会更完整，持续下载、批量同步或需要稳定传输流程的场景会更适合它。
Mountain Duck 是一款能将多个网盘挂载到本地的工具，像本地磁盘一样使用网盘。清理链路的完整性会更好一些，做应用卸载、残留处理和空间整理时，通常能少走很多手动排查步骤。
