内存通胀“终结者”？谷歌公开最新极限压缩算法
要破解大模型面临的算力难题，降低其训练和运行时所需的存储与计算空间，路径其实不少。关键是要理清：痛点究竟是在训练环节，还是在推理环节？市面上主流的稀疏化、量化、模型压缩与知识蒸馏等技术，各有侧重，而不同的研究机构和模型厂商，也基于自身的技术栈和场景需求，选择了不同的突破方向。 就拿让许多模型头疼的长
要破解大模型面临的算力难题，降低其训练和运行时所需的存储与计算空间，路径其实不少。关键是要理清：痛点究竟是在训练环节，还是在推理环节？市面上主流的稀疏化、量化、模型压缩与知识蒸馏等技术，各有侧重，而不同的研究机构和模型厂商，也基于自身的技术栈和场景需求，选择了不同的突破方向。
就拿让许多模型头疼的长上下文任务来说吧。过去两年，业内算法团队的一个主流思路，是围绕“键值缓存”做文章，提出了分离式架构设计——也就是根据预填充和解码的不同计算特性，将它们分别部署到不同的服务器上。但这种方案在应对大批次处理和排队场景时，对系统内存带宽提出了更高要求。说白了，对于很多推理任务而言，真正的瓶颈往往不在于算得快不快，而在于数据从内存里“搬”得够不够快。
今天，谷歌推出了一项名为TurboQuant的新算法，瞄准的正是这个核心痛点：大模型运行时恐怖的内存消耗。它的目标很明确，就是让AI在“思考”和“回答”时，占用少得多的工作内存，同时还能保持几乎等价的智力水平，甚至反应更快。
这项技术的潜在影响是显而易见的。在模型推理侧，处理百万级Token上下文的成本有望显著下降；对于向量数据库，实时索引和亚毫秒级查询将更容易实现；而在边缘AI领域，手机和嵌入式设备运行长上下文推理也不再是遥不可及的幻想。此外，这一思路完全可以延伸到多模态领域，用于向量数据的压缩。
市场总是最敏锐的。就在这项技术发布的当天，美股存储板块，包括美光科技、闪迪等公司的股价应声下跌。近几年，受全球数据中心建设热潮的推动，内存、固态硬盘等存储产品一度供应紧张、价格高企。市场的这一反应不难理解：一旦TurboQuant这类技术得到广泛应用，未来AI推理服务器对内存容量规格的需求预期将被重塑，整个硬件成本曲线可能因此改变。
要真正理解TurboQuant的价值，得先弄明白大模型生成文本的基本原理。它们并非一下子吐出整段话，而是像我们人类边想边说，一个字一个字地往外“蹦”。在这个过程中，模型需要一个“临时记事本”，用来记住之前所有对话或文本的内容，避免对相同信息反复计算。这个技术上的“记事本”，就是键值缓存。麻烦在于，对话越长，“记事本”就越厚，对昂贵的高性能内存的占用也就越惊人。在处理超长文档或复杂多轮对话时，KV Cache会迅速成为拖慢AI速度、推高运行成本的主要瓶颈。
TurboQuant的破解之道，在于两个精巧的算法组合：负责主压缩的PolarQuant，和负责精细校正的QJL，双管齐下，目标直指压缩KV Cache中的高维向量。
第一步：PolarQuant——高质量压缩
传统的量化方法，好比用“东南西北”的直角坐标来记录一个点的位置。而TurboQuant的第一步PolarQuant，则换了一种思路，改用“角度和距离”的极坐标来描述。研究发现，经过一种特定的数学变换后，高维向量的数值分布会变得非常规整，就像一个刻好固定刻度的圆形标尺。这样一来，系统就能提前准备一套最优的压缩“密码本”，无需每次对话都临时校准，实现了真正的在线实时压缩。这一步，用大部分的比特位完成了对数据主体的高质量“瘦身”。
第二步：QJL——消除隐藏误差
主压缩之后，总会残留一些微小的误差。如果置之不理，当AI计算“注意力”（即判断该关注对话中的哪部分内容）时，这些误差会不断累积，最终导致“关注点”出现偏差。TurboQuant的第二个创新点，就是用名为QJL的方法来处理这些残差。QJL的聪明之处在于，它仅用1个比特来标记残差的方向，然后与高精度的原始查询向量结合，最终能实现无偏差的内积估算。这意味着，数据虽然被大幅压缩了，但AI在判断“信息重要性”时，得出的结论依然精准可靠。
根据谷歌官方博客披露的数据，TurboQuant带来了接近理论极限的性能提升：
极致压缩：能将KV Cache压缩到每通道仅3比特，与传统16或32比特存储相比，内存占用减少至少6倍。在长上下文测试中，即便经过如此极致的压缩，模型仍然能精准找到隐藏信息，表现满分。
精度无损：在多个标准长上下文基准测试上，使用3.5比特配置的TurboQuant，模型性能与使用全精度缓存时完全一致；即便是2.5比特配置，性能也只有轻微下降。
速度飞跃：由于需要从内存中读取的数据量锐减，计算速度获得极大提升。在H100 GPU上，4比特TurboQuant处理注意力核心步骤的速度，比未压缩的32比特版本快了整整8倍。
总而言之，TurboQuant能够以极低的内存占用、近乎零的预处理时间，构建并查询高精度的大型向量索引。这使得谷歌规模的语义搜索变得更快、更高效。当然，这项技术的意义绝不仅仅是实验室里的突破。据博客透露，虽然TurboQuant目前主要解决的是Gemini等模型的KV Cache瓶颈，但其底层技术同样适用于任何需要在高维向量数据库中进行海量搜索的场景，比如现代的语义搜索引擎。
该技术的相关论文已被接收，将于ICLR 2026和AISTATS 2026学术会议上正式发表。
相关链接：https://research.google/blog/turboquant-redefining-ai-efficiency-with-extreme-compression/
相关论文链接：https://arxiv.org/pdf/2502.02617
（本文作者 | 杨丽，编辑 | 杨林）
IntelliJ IDEA 是 JetBrains 推出的专业集成开发环境，重点服务于 Java、Kotlin 与 JVM 项目开发。软件集成代码补全、静态检查、重构、调试、测试、版本控制及构建工具，并可借助插件扩展语言和框架支持。
JetBrains PyCharm 是面向 Python 开发者的集成开发环境，提供智能补全、代码检查、重构、调试、测试、版本控制及虚拟环境管理功能。Mac 版兼容 Intel 与 Apple 芯片，核心功能可免费使用。
JetBrains WebStorm 是面向 JavaScript、TypeScript 和现代 Web 技术的专业集成开发环境，可智能理解项目结构，提供代码补全、重构、错误检查、运行调试、测试及 Git 工具。
Adobe After Effects 是面向动态图形、影视特效与视频合成的专业创作软件。它提供关键帧动画、遮罩抠像、运动跟踪、三维空间、文字动画和表达式等工具，并可与 Premiere Pro、Photoshop、Illustrator
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Adobe Bridge 是面向摄影师、设计师及内容团队的免费数字资产管理工具，可集中预览照片、视频和 Adobe 项目文件，并利用评级、标签、关键词、元数据、筛选与收藏集完成分类检索。它还支持批量重命名、格式导出、相机导入及 Camera
Adobe Illustrator 是 Adobe 推出的专业矢量图形设计软件，适合在 Mac 上制作标志、图标、插画、包装、信息图及印刷版面。它以路径和锚点构建可无损缩放的图形，并提供钢笔、形状、文字、图像描摹、渐变、画板及生成式功能。
Adobe InDesign 是面向印刷品与数字出版物的专业版面设计软件，可在 Mac 上制作书籍、杂志、宣传册、海报、报告及交互式文档。它提供精细的文字样式、网格、母版、长文档管理和印前输出能力。
Adobe Lightroom Classic 是面向桌面摄影工作流的照片管理与后期处理软件，可将原始照片保存在本地硬盘，通过目录、关键词、评分和收藏夹高效整理图库，并提供 RAW 冲印、蒙版、镜头校正、批量同步及多格式导出等功能。
Adobe Media Encoder 是 Adobe 推出的专业音视频编码与转码工具，可通过队列、预设和监视文件夹批量完成格式转换、代理文件创建及多平台成片输出，并与 Premiere Pro、After Effects 等软件紧密协作。
Adobe Photoshop 是面向摄影师、设计师和内容创作者的专业图像处理软件，提供图层、蒙版、选区、修复、调色、文字排版、智能对象及生成式编辑等能力。Mac 版支持 Intel 与 Apple Silicon 处理器。
Adobe Premiere Pro 是面向专业视频制作的非线性剪辑软件，提供多轨时间线、调色、音频处理、字幕、代理工作流和多格式输出能力，并可与 After Effects、Audition、Photoshop 及 Frame.io 协同
JetBrains IntelliJ IDEA 是以 Java、Kotlin 和 JVM 项目为核心的专业集成开发环境，提供智能补全、代码检查、安全重构、调试、测试、版本控制及构建工具集成。统一发行版的核心功能可免费用于商业和非商业项目，
PhpStorm 是 JetBrains 面向 PHP 与现代 Web 开发打造的专业集成开发环境，提供代码补全、静态检查、重构、调试、测试、数据库、版本控制及前端语言支持。Windows 用户可直接下载安装程序，
PyCharm 是 JetBrains 推出的 Python 集成开发环境，提供智能代码补全、错误检查、重构、调试、测试、Git、终端及 Jupyter Notebook 支持。统一版安装后可体验 30 天 Pro 功能，
WebStorm 是 JetBrains 面向 JavaScript、TypeScript 和现代 Web 技术打造的集成开发环境。它提供项目级代码分析、智能补全、安全重构、导航搜索，并集成调试、测试、终端、Git 与常用前端工具，
Adobe Photoshop 是面向摄影师、设计师和内容创作者的专业图像处理工具，可在 Windows 上完成照片修饰、选区抠图、图层合成、文字排版、绘画及生成式编辑。软件采用订阅授权，由 Creative Cloud 管理安装、更新与许
Adobe InDesign 是面向印刷与数字出版的专业页面排版工具，可制作书籍、杂志、宣传册、海报、交互式 PDF 和电子书。它提供精细的文字样式、多页面管理、印前检查及多格式输出能力，并能与 Photoshop、Illustrator
Adobe Illustrator 是用于绘制矢量图形、插画、图标、徽标和版式的专业设计工具。它以路径和锚点为核心，作品放大后仍能保持清晰，并提供画板、文字、渐变、图像描摹及精确变换等功能，适合品牌视觉、印刷物料、数字界面和商业插画创作。
Adobe Bridge 是 Adobe 推出的创意资产管理工具，可集中预览、分类和查找照片、视频、PDF及多种设计文件，并支持元数据、关键词、评级、批量重命名和格式导出。它可与 Photoshop、Illustrator 等应用衔接，
Adobe Lightroom Classic 是面向 Windows 桌面摄影工作流的照片管理与无损编辑工具，可通过目录集中整理大型图库，并完成 RAW 显影、局部蒙版、批量调整、打印和多格式导出。它强调本地文件管理与精细控制，
Adobe Acrobat Pro 是面向专业 PDF 工作的综合解决方案，可在 Windows 中创建、编辑、转换、比较、整理和保护文档，并支持表单、电子签名、扫描件文字识别及敏感信息永久遮盖。订阅还包含网页、移动服务和云端协作能力，
Adobe After Effects 是面向动态图形、动画与影视视觉特效制作的专业工具，可完成关键帧动画、图层合成、遮罩跟踪、抠像、文字动画和二维三维元素整合。Windows 版通过 Adobe Creative Cloud 安装及更新，
Adobe Media Encoder 是 Adobe 面向视频与音频制作流程提供的专业编码和转码工具，可批量处理媒体文件、创建代理、套用输出预设并监控文件夹自动执行任务。它与 Premiere、After Effects、Audition