GPT-4的推测解码技术：历史回顾、现状与应用综述
众所周知，大型语言模型（LLM）的推理通常需要使用自回归采样，这个推理过程相当缓慢。为了解决这个问题，推测解码（SpeculativeDecoding）已经成为LLM推理的一种新型采样方法。这种方法在每个采样步骤中，会先预测几个可能的token，然后并行地验证是否准确。与自回归解码不同，推测解码能够单步解码多个token，从而加速推理。尽管推测解码在许多方面都表现出巨大潜力，但也带来了一些需要深入研究的关键问题。首先，我们需要思考如何选择或设计适当的近似模型，以在推测的准确性和生成的效率之间取得平衡。其次
众所周知，大型语言模型（LLM）的推理通常需要使用自回归采样，这个推理过程相当缓慢。为了解决这个问题，推测解码（Speculative Decoding）已经成为 LLM 推理的一种新型采样方法。这种方法在每个采样步骤中，会先预测几个可能的 token，然后并行地验证是否准确。与自回归解码不同，推测解码能够单步解码多个 token，从而加速推理。
尽管推测解码在许多方面都表现出巨大潜力，但也带来了一些需要深入研究的关键问题。首先，我们需要思考如何选择或设计适当的近似模型，以在推测的准确性和生成的效率之间取得平衡。其次，重要的是确保评估标准能够同时维持生成结果的多样性和质量。最后，必须认真考虑近似模型和目标大模型之间的推理过程的对齐，以提高推理的准确性。
来自香港理工大学、北京大学、MSRA以及阿里的研究者对推测解码进行了全面的调研，机器之心对此进行了综合总结。
- 论文标题：Unlocking Efficiency in Large Language Model Inference: A Comprehensive Survey of Speculative Decoding
- 论文地址：https://arxiv.org/pdf/2401.07851.pdf
推测解码的演化之路
文章首先详细介绍了推测解码技术的早期研究情况，并通过时间表展示了其发展历程（见图 2）。
分块采样（Blockwise Decoding）是一种在 Transformer 解码器上集成额外前馈神经（FFN）头的方法，能够单步生成多个 token。
为了进一步充分发挥分块采样算法的潜力，提出了推测解码的解决方案。这种算法涵盖了一个独立的近似模型，通常采用专门的非自回归 Transformer，能够高效而精确地执行生成任务。
继推测解码出现之后，有学者接着提出了「投机采样算法」（Speculative Sampling），在推测解码中加入了无损加速核采样。
总的来说，这些关于推测解码的创新尝试已经开始加强 Draftthen-Verify 范式，并且展示了在 LLM 加速方面的巨大潜能。
公式和定义
本节首先简要概述了标准自回归解码的内容，然后深入阐述了推测解码算法，包括对形式定义、方法论的全面描述以及算法的详细阐述。
本文提出了一个组织框架来对相关研究进行分类，如下图 3 所示。
本文在前人的基础上，对「推测解码算法」再次进行了正式的定义：
推测解码算法是一种先生成后验证的解码模式，在每个解码步骤，它首先需要能生成多个可能的 token，然后使用目标大语言模型并行地评估所有这些 token，以加快推理速度。算法表 2 是一个详细的推测解码过程。
随后，本文深入研究了这一范式不可或缺的两个基本子步骤 —— 生成和评估。
生成
在每个解码步骤中，推测解码算法首先会生成多个可能的 token，作为对目标大语言模型的输出内容的推测。
本文将生成的内容分为两类：独立生成（independent drafting ）和自生成（self-drafting），并在下表 1 中总结了其公式。
验证
在每个解码步骤中，并行地验证近似模型生成的 token，以确保输出质量与目标大语言模型高度一致。这个过程还确定了每一步可允许的 token 数量，这是一个能够影响加速情况的一个重要因素。
对各种验证标准的总结如下表 2 所示，包括那些在大语言模型推理中支持贪心解码和核采样的标准。
生成和验证的子步骤会持续迭代，直到满足终止条件为止，即 [EOS] token 被解码或句子达到最大长度。
此外，本文引入了 token 的树验证算法，这是一种逐步提高 token 接受度的有效策略。
模型对齐
提高推测准确性是加速推测解码的关键：近似模型的预测行为越接近目标大语言模型，对其生成 token 的接受率就越高。为此，现有的工作探索了各种知识提取（KD）策略，以使近似模型的输出内容与目标大语言模型的输出内容保持一致。
分块解码首先采用序列级知识提取（Seq-KD）来进行模型对齐，用目标大语言模型生成的句子训练近似模型。
此外，Seq-KD 也是提高并行解码生成质量的有效策略，提高了并行解码的生成性能。
下表 3 中总结了现有推测解码方法的主要特征，包括近似模型的类型或生成策略、模型对齐方法、支持的评估策略和加速程度等情况。
应用
除了作为一种通用范式外，最近的工作还表明，推测解码的一些变体在特定任务中表现出非凡的有效性。此外，其他研究已经将这种范式应用于解决某些应用场景特有的延迟问题，从而实现推理加速。
例如，有些学者认为，推测解码特别适合于模型输入和输出高度相似的任务，如语法纠错和检索增强生成。
除了这些工作之外，RaLMSpec（Zhang et al., 2023b）用推测解码来加速检索增强语言模型（RaLMs）。
机遇与挑战
问题 1：如何权衡预测内容的准确性和生成效率？尽管目前对这个问题取得了一些进展，但在使近似模型与目标大语言模型生成内容保持一致方面仍有相当大的改进空间。除了模型对齐之外，其他因素（如生成质量和预测长度的确定）也会影响推测的准确性，值得进一步探索。
问题 2：如何将推测解码与其他领先技术相结合？作为一种通用的解码模式，推测解码已经与其他先进技术相结合，展示了其潜力。除了加速纯文本的大语言模型之外，推测解码在多模式推理中的应用，如图像合成、文本到语音合成和视频生成，也是未来研究的一个有趣而有价值的方向。
更多细节内容请参阅原论文。
Adobe Acrobat Pro 是面向办公、法务、财务、教育及出版用户的专业PDF处理软件，可在Mac上创建、编辑、转换、合并和保护文档，并提供OCR文字识别、表单、批注、内容比较、敏感信息遮盖及电子签名功能。
Blender 是一款免费开源、跨平台的专业 3D 创作软件，集建模、动画、渲染、视频编辑与视觉合成等功能于一体，广泛应用于影视动画、游戏设计和建筑可视化等领域。软件支持 Cycles 物理渲染器与 Eevee 实时渲染引擎，并提供多边形建模、骨骼绑定、物理模拟等专业工具。Blender 兼容 Windows、macOS 和 Linux 系统，安装包轻巧、运行流畅，依托活跃的全球开发者社区持续更新，是从初学者到专业创作者都值得选择的正版 3D 创作工具。
Shapr3D是一款面向工业设计、机械工程、建筑概念和三维打印工作流的CAD软件。Mac版采用Parasolid建模内核，支持草图约束、实体建模、工程图、可视化渲染及常见CAD格式交换，并可通过账户在多台设备之间同步项目。
Adobe Illustrator 是 Adobe 推出的专业矢量图形设计软件，适合在 Mac 上制作标志、图标、插画、包装、信息图及印刷版面。它以路径和锚点构建可无损缩放的图形，并提供钢笔、形状、文字、图像描摹、渐变、画板及生成式功能。
Adobe InDesign 是面向印刷品与数字出版物的专业版面设计软件，可在 Mac 上制作书籍、杂志、宣传册、海报、报告及交互式文档。它提供精细的文字样式、网格、母版、长文档管理和印前输出能力。
Affinity Designer 的矢量设计能力现已整合进 Affinity by Canva，可在 Mac 上进行标志、图标、插画、界面原型及印刷品设计。个人用户使用免费 Canva 账户即可使用完整的矢量、像素和版面工具。
Archicad是Graphisoft推出的建筑信息模型设计软件，可在Mac上完成概念设计、参数化建模、图纸编制、工程量统计、渲染展示及团队协同。模型与平立剖面、明细表和布局保持关联，适合建筑师、室内设计师、BIM团队及相关专业学生使用。
AutoCAD LT是Autodesk推出的专业二维CAD设计与文档编制软件，Mac版本提供原生界面、多点触控及分屏查看体验。用户可精确创建和编辑DWG图形，完成图层管理、尺寸标注、表格、PDF参考、外部参照及打印输出。
AutoCAD for Mac 是 Autodesk 面向 macOS 提供的专业计算机辅助设计软件，支持精确的二维绘图、标注、布局输出以及实体、曲面和网格建模。软件采用适配 Mac 操作习惯的界面，可处理 DWG 图纸。
Autodesk Fusion 是面向产品设计与制造的一体化云连接平台，在 Mac 上提供参数化建模、自由曲面、装配、工程图、仿真、PCB 设计和 CAM 加工等工具。它适合机械工程师、工业设计师、创客及制造团队使用。
Autodesk Maya是一套面向影视动画、游戏开发和视觉特效制作的专业三维创作软件，集多边形与曲面建模、角色绑定、关键帧动画、动力学模拟、程序化特效及Arnold渲染于一体，并提供脚本、插件和开放式制作管线支持。
Blender是一款免费开源的综合三维创作软件，可在Mac上完成建模、数字雕刻、材质制作、角色绑定、动画、物理模拟、渲染、合成及视频剪辑。软件提供Cycles与Eevee渲染工具，并支持几何节点、蜡笔绘制和Python扩展。
AutoCAD 是 Autodesk 推出的专业计算机辅助设计软件，Windows 版支持精确二维绘图、三维实体与曲面建模、图纸标注、布局发布和任务自动化，并包含多套行业专业化工具组合，适用于建筑、机械、电气、工程建设及制造设计人员。
Adobe Acrobat Pro 是面向专业 PDF 工作的综合解决方案，可在 Windows 中创建、编辑、转换、比较、整理和保护文档，并支持表单、电子签名、扫描件文字识别及敏感信息永久遮盖。订阅还包含网页、移动服务和云端协作能力，
Blender 是一款免费开源、跨平台的专业 3D 创作软件，集建模、动画、渲染、视频编辑与视觉合成等功能于一体，广泛应用于影视动画、游戏设计和建筑可视化等领域。软件支持 Cycles 物理渲染器与 Eevee 实时渲染引擎，并提供多边形建模、骨骼绑定、物理模拟等专业工具。Blender 兼容 Windows、macOS 和 Linux 系统，安装包轻巧、运行流畅，依托活跃的全球开发者社区持续更新，是从初学者到专业创作者都值得选择的正版 3D 创作工具。
Adobe InDesign 是面向印刷与数字出版的专业页面排版工具，可制作书籍、杂志、宣传册、海报、交互式 PDF 和电子书。它提供精细的文字样式、多页面管理、印前检查及多格式输出能力，并能与 Photoshop、Illustrator
Adobe Illustrator 是用于绘制矢量图形、插画、图标、徽标和版式的专业设计工具。它以路径和锚点为核心，作品放大后仍能保持清晰，并提供画板、文字、渐变、图像描摹及精确变换等功能，适合品牌视觉、印刷物料、数字界面和商业插画创作。
Figma 是面向产品设计与开发团队的云端协作平台，可在 Windows 桌面客户端中完成界面绘制、组件管理、交互原型、评论评审和开发交付。文件保存在云端，多名成员能够同步编辑并共享设计系统；官方同时提供免费 Starter 方案及按席位计
Affinity Designer 是面向矢量图形、数字插画和界面设计的专业创作工具，可在矢量、像素与导出工作区之间快速切换。它提供曲线编辑、形状构建、画板、排版、图层和专业色彩管理，并支持常见设计文件的导入及多种印刷、网页格式输出。
Cinema 4D是Maxon推出的专业三维创作软件，将建模、动画、MoGraph动态图形、粒子与动力学模拟、材质灯光及Redshift渲染整合在统一工作环境中，适用于广告包装、影视特效、产品和建筑可视化、游戏素材等制作场景。
Blender 是免费开源的三维创作套件，在 Windows 上提供建模、雕刻、材质、动画、物理模拟、合成、跟踪、视频剪辑及 Cycles、EEVEE 渲染工具。它适合个人创作者、学生和小型工作室，
Autodesk Maya 是面向影视、电视、动画和游戏行业的专业三维制作软件，集多边形与 NURBS 建模、角色绑定、关键帧和动作捕捉动画、Bifrost 特效模拟、材质开发及 Arnold 渲染于一体，
SketchUp Pro 是面向建筑、室内、景观、施工和产品设计等专业场景的三维建模工具，提供桌面建模、LayOut 二维文档、模型资源库、扩展程序及云端协作能力。其操作逻辑直观，适合从概念推敲、空间规划到图纸表达和方案汇报的完整工作流程。