思维链如何释放语言模型的隐藏能力？最新理论研究揭示其背后奥秘
思维链提示（CoT）是大模型涌现中最神秘的现象之一，尤其在解决数学推理和决策问题中取得了惊艳效果。CoT到底有多重要呢？它背后成功的机制是什么？本文中，北大的几位研究者证明了CoT在实现大语言模型（LLM）推理中是不可或缺的，并从理论和实验角度揭示了CoT如何释放LLM的巨大潜力。最近的研究发现，思维链提示（ChainofThoughtprompting，简称为CoT）可以显著提升大语言模型（LLM）的性能，尤其适用于处理涉及数学或推理的复杂任务。不过尽管取得了很大成功，但CoT背后的机制以及如何释放LL
思维链提示（CoT）是大模型涌现中最神秘的现象之一，尤其在解决数学推理和决策问题中取得了惊艳效果。CoT到底有多重要呢？它背后成功的机制是什么？本文中，北大的几位研究者证明了CoT在实现大语言模型（LLM）推理中是不可或缺的，并从理论和实验角度揭示了CoT如何释放LLM的巨大潜力。
最近的研究发现，思维链提示（Chain of Thought prompting，简称为 CoT）可以显著提升大语言模型（LLM）的性能，尤其适用于处理涉及数学或推理的复杂任务。不过尽管取得了很大成功，但 CoT 背后的机制以及如何释放 LLM 的潜力仍然难以捉摸。
近日，北京大学的一项新研究从理论视角揭示了 CoT 背后的奥秘。
论文链接：https://arxiv.org/abs/2305.15408
基于 Transformer 的大语言模型已经成为自然语言处理中的通用模型，在各种任务上都获得了广泛的应用。主流的大模型通常基于自回归范式来实现，具体而言，各种不同的任务（如文本翻译、文本生成、问题回答等）都可以统一地视为序列生成问题，其中问题的输入和问题描述被一起被编码为一个单词（token）序列，称为提示（prompt）；问题的答案便可以转化为基于提示来条件生成后续单词的任务。
在大模型领域中有大量的研究已经表明，精心设计的提示词对模型的表现起着至关重要的作用。特别是在涉及算术或推理相关的任务时， CoT 已被表明能够大大提高所生成答案的正确性。如下图所示，对于一个需要数学推理的任务，大模型直接生成的答案往往是错误的（下图 a,b）。但是如果通过修改提示使得大模型输出整个思维链（中间推导步骤），最终便能够得到正确答案（下图 c,d）。
在实践中，思维链提示有两种主流的实现方式：一种是在提示中添加特定短语，如 “Let’s think step by step” 来触发（如上图 c）；另一种是通过提供少量的思维链演示的例子来让大模型模拟相应的推导过程（如上图 d）。
然而，尽管 CoT 在大量实验上都取得了显著的表现，但背后的理论机制却仍然是个谜。一方面，大模型在直接回答数学、推理等问题方面是否确实存在固有理论缺陷？另一方面，为什么 CoT 可以提升大模型在这些任务上的能力？这篇论文从理论角度对上述问题进行了回答。
具体而言，研究者从模型表达能力的角度来研究 CoT：对于数学任务和一般的决策任务，本文研究了基于自回归的 Transformer 模型在以下两个方面的表达能力：（1）直接生成答案，以及（2）采用 CoT 的方式生成完整的解决步骤。
CoT 是解决数学问题的关键
以 GPT-4 为代表的大模型已经展现出了令人震惊的数学能力。例如，它能够正确求解大部分高中数学题，甚至已经成为数学家们的研究助手。
为了研究大模型在数学方面的能力，本文选取了两个非常基础但核心的数学任务：算术和方程（下图给出了这两个任务的输入输出示例）。由于它们是解决复杂数学问题的基本组件，因此通过对这两个核心数学问题的研究，我们可以对大模型在一般数学问题上的能力有一个更深刻的理解。
研究者首先探究了 Transformer 是否能够输出上述问题的答案而不输出中间步骤。他们考虑了一种与实际非常吻合的假设 ——log 精度 Transformer，即 Transformer 的每个神经元只能表示有限精度的浮点数（精度为 log n 比特），其中 n 是句子的最大长度。这一假设与实际非常接近，例如在 GPT-3 中，机器精度（16 位或 32 位）通常要远小于最大输出句子长度（2048）。
在这一假设下，研究者证明了一个核心不可能结果：对于常数层、宽度为 d 的自回归 Transformer 模型，以直接输出答案的方式求解上述两个数学问题时，需要使用极大的模型宽度 d。具体而言，d 需要以超越多项式的增长速度随输入长度 n 的增长而变大。
造成这一结果的本质原因在于，上述两个问题不存在高效的并行算法，因此 Transformer 作为一种典型的并行模型无法对其进行求解。文章使用理论计算机科学中的电路复杂性理论对上述定理进行了严格证明。
那么，如果模型不直接输出答案，而是按照上图的形式输出中间推导步骤呢？研究者进一步通过构造证明了，当模型可以输出中间步骤时，一个固定大小（不依赖于输入长度 n）的自回归 Transformer 模型便可以解决上述两个数学问题。
对比之前的结果可以看出，加入 CoT 极大地提升了大模型的表达能力。研究者进一步对此给出了直观的理解：这是因为 CoT 的引入会将生成的输出单词不断回馈到输入层，这大大增加了模型的有效深度，使其正比于 CoT 的输出长度，从而极大地提升了 Transformer 的并行复杂度。
CoT 是解决一般决策问题的关键
除了数学问题，研究者进一步考虑了 CoT 在解决一般任务上的能力。他们从决策问题出发，考虑了一种解决决策问题的通用框架，称为动态规划。
动态规划（DP）的基本思想在于将复杂问题分解为一系列可以按顺序解决的小规模子问题。其中对问题的分解确保了各个子问题之间存在显著的相互关联（重叠），从而使得每个子问题可以利用之前的子问题上的答案来高效解决。
最长上升子序列（LIS）和求解编辑距离（ED）是《算法导论》一书中提出的两个著名的 DP 问题，下表列出了这两个问题的状态空间、转移函数的聚合函数。
研究者证明了，自回归 Transformer 模型可以按照解决子问题的顺序输出一个完整的动态规划思维链，从而对于所有能够用动态规划解决的任务都能输出正确答案。同样地，研究者进一步证明了生成思维链是必要的：对于很多困难的动态规划问题，一个常数层、多项式大小的 Transformer 模型无法直接输出正确答案。文章通过上下文无关文法成员测试这一问题给出了反例。
实验
研究者最后设计了大量实验对上述理论进行了验证，考虑了四种不同的任务：算术表达式求值、解线性方程组、求解最长上升子序列以及求解编辑距离。
实验结果表明，当使用 CoT 数据进行训练时，一个 3 层的自回归 Transformer 模型已经能够在所有任务上均取得几乎完美的表现。然而，直接输出正确答案在所有任务上的表现都很差（即使使用更深的模型）。这一结果清楚地展示了自回归 Transformer 在解决各种复杂任务上的能力，并表明了 CoT 在解决这些任务中的重要性。
Postman是一套面向API全生命周期的开发与测试平台，可在Mac上发送和调试多种协议请求，管理集合、环境及认证信息，并完成脚本测试、模拟服务、监控、文档发布和团队协作。它适合开发、测试及运维人员使用，提供个人免费方案。
Docker Desktop 是 Docker 官方为 Mac 提供的容器开发环境，集成 Docker Engine、命令行工具、Compose、Build、Kubernetes 与图形化管理界面。
Android Studio 是 Google 面向安卓应用开发提供的官方集成开发环境，基于 IntelliJ IDEA 构建。它整合智能代码编辑、Gradle 构建、界面预览、设备模拟、性能分析、调试测试及 APK 分析等工具。
Xcode 是苹果面向 Mac 提供的官方集成开发环境，将代码编辑、项目构建、SwiftUI 实时预览、设备模拟、自动化测试、断点调试、性能分析和应用分发整合在同一套工作流中，适合开发与维护 iPhone、iPad、Mac、Apple Wa
JetBrains WebStorm 是面向 JavaScript、TypeScript 和现代 Web 技术的专业集成开发环境，可智能理解项目结构，提供代码补全、重构、错误检查、运行调试、测试及 Git 工具。
PhpStorm 是 JetBrains 推出的专业 PHP 集成开发环境，可在 Mac 上完成代码编写、智能检查、重构、调试、测试和数据库管理。它支持主流 PHP 框架、Composer、Git、Docker 与远程解释器。
JetBrains PyCharm 是面向 Python 开发者的集成开发环境，提供智能补全、代码检查、重构、调试、测试、版本控制及虚拟环境管理功能。Mac 版兼容 Intel 与 Apple 芯片，核心功能可免费使用。
IntelliJ IDEA 是 JetBrains 推出的专业集成开发环境，重点服务于 Java、Kotlin 与 JVM 项目开发。软件集成代码补全、静态检查、重构、调试、测试、版本控制及构建工具，并可借助插件扩展语言和框架支持。
Visual Studio Code 是微软提供的免费代码编辑器，支持 macOS，并为 Intel 与 Apple 芯片 Mac 提供适配版本。软件集代码编辑、调试、Git 源代码管理、集成终端和扩展市场于一体。
REAPER是Cockos开发的数字音频工作站，提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片，支持AU、VST、VST3、CLAP等插件格式，并提供高度可定制的工作流程。
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Pro Tools 是 Avid 推出的专业数字音频工作站，覆盖多轨录音、无损剪辑、MIDI 编曲、插件处理、自动化混音及声音与画面同步等工作。它拥有 Intro、Artist、Studio 和 Ultimate 等方案。
PixPix 是面向品牌、卖家和内容团队的在线 AI 图片视频创作平台，提供图视频 Agent、无限画布、图片生成、视频生成、自然语言编辑及商品套图、产品精修和带货视频等电商工具。
Postman 是面向 API 全生命周期的开发与协作平台。Windows 桌面版可用于构建和发送 HTTP、GraphQL、gRPC、WebSocket、MQTT 等请求，并提供环境变量、集合、脚本测试、模拟服务、监控、文档及团队工作区等
Docker Desktop 为 Windows 开发者提供集成式容器环境，内置 Docker Engine、命令行工具、Compose、Build 与 Kubernetes 等组件，可在本机完成镜像构建、容器运行、日志查看和资源管理。
Android Studio 是 Google 面向 Android 应用开发提供的官方集成开发环境，以 IntelliJ IDEA 为基础，集成智能代码编辑、Gradle 构建、设备模拟、界面预览、调试测试及性能分析工具，
WebStorm 是 JetBrains 面向 JavaScript、TypeScript 和现代 Web 技术打造的集成开发环境。它提供项目级代码分析、智能补全、安全重构、导航搜索，并集成调试、测试、终端、Git 与常用前端工具，
PhpStorm 是 JetBrains 面向 PHP 与现代 Web 开发打造的专业集成开发环境，提供代码补全、静态检查、重构、调试、测试、数据库、版本控制及前端语言支持。Windows 用户可直接下载安装程序，
PyCharm 是 JetBrains 推出的 Python 集成开发环境，提供智能代码补全、错误检查、重构、调试、测试、Git、终端及 Jupyter Notebook 支持。统一版安装后可体验 30 天 Pro 功能，
JetBrains IntelliJ IDEA 是以 Java、Kotlin 和 JVM 项目为核心的专业集成开发环境，提供智能补全、代码检查、安全重构、调试、测试、版本控制及构建工具集成。统一发行版的核心功能可免费用于商业和非商业项目，
Visual Studio Code 是微软推出的免费代码编辑器，Windows 版集成智能补全、代码导航、调试、终端和版本控制，并可通过扩展添加语言、格式化及远程开发能力。它启动较快、配置灵活，
REAPER 是 Cockos 推出的数字音频工作站，适用于录音、MIDI 编曲、音频编辑、混音、母带制作及声音设计。软件安装包小巧，支持多轨录制、灵活路由、自动化、第三方插件和脚本扩展，并提供完整功能的 60 天免费评估期。
Adobe Audition 是面向播客、影视后期、广播与音乐制作的专业音频工作站，提供波形编辑、多轨混音、频谱分析、录音、降噪修复和效果处理等功能。Windows 版通过 Adobe Creative Cloud 安装和管理，
Pro Tools 是 Avid 推出的专业数字音频工作站，提供多轨录音、音频剪辑、MIDI编曲、插件处理、自动化混音及影视声音制作能力。它适合音乐人、录音师、制作人和音频后期团队使用，并提供免费入门版、订阅方案及永久授权选择。