「模仿学习」只会套话？解释微调+130亿参数Orca：推理能力打平ChatGPT
Air Explorer Pro是一款跨平台多网盘管理工具，可实现一站式完成不同网盘间文件的互传、搜索和同步等操作。任务管理和过程控制会更完整，持续下载、批量同步或需要稳定传输流程的场景会更适合它。
自ChatGPTAPI开放后，大量的研究都选择利用ChatGPT和GPT-4等大型基础模型（LFM）的输出作为训练数据，然后通过模仿学习来提升小模型的能力。但由于模仿信号流于表面、训练数据量不够大、缺乏严格的评估标准等问题，小模型的实际性能被高估了。从效果上来看，小模型更倾向于模仿LFM的输出风格，而非推理过程。论文链接：https://arxiv.org/pdf/2306.02707.pdf为了应对这些挑战，微软最近发布了一篇长达51页论文，提出了一个130亿参数的Orca模型，可以学习模仿LFMs的推
自ChatGPT API开放后，大量的研究都选择利用ChatGPT和GPT-4等大型基础模型（LFM）的输出作为训练数据，然后通过模仿学习来提升小模型的能力。
但由于模仿信号流于表面、训练数据量不够大、缺乏严格的评估标准等问题，小模型的实际性能被高估了。
从效果上来看，小模型更倾向于模仿LFM的输出风格，而非推理过程。
论文链接：https://arxiv.org/pdf/2306.02707.pdf
为了应对这些挑战，微软最近发布了一篇长达51页论文，提出了一个130亿参数的Orca模型，可以学习模仿LFMs的推理过程。
研究人员为大模型设计了丰富的训练信号，使得Orca可以从GPT-4中学习到解释痕迹、逐步的思维过程、复杂的指令等，并由ChatGPT的教师协助指导；并通过采样和选择来挖掘大规模且多样化的模仿数据，可以进一步提升渐进式学习效果。
在实验评估中，Orca超过了其他SOTA指令微调模型，在BigBench Hard（BBH）等复杂的零样本推理基准中实现了比Vicuna-13B翻倍的性能表现，在AGIEval上也实现了42%的性能提升。
此外，Orca在BBH基准上还实现了与ChatGPT持平的性能，在SAT、LSAT、GRE和GMAT等专业和学术考试中只有4%的性能差距，并且都是在没有思维链的零样本设置下测量的。
研究结果表明，让模型从分步解释中学习，无论这些解释是由人类还是更高级的人工智能模型产生的，都是提高模型能力和技能的一个有前景的研究方向。
解释微调（Explanation Tuning）
数据集构造
在训练数据中，每个实例都包括三部分，即系统消息、用户查询和LFM回复。
系统消息（system message）放置在提示中开头的部分，提供给LFM基本的上下文、引导以及其他相关的细节。
系统消息可以用来改变回复的长度、描述AI助手的性格、建立可接受和不可接受的LFM行为，并确定AI模型的回复结构。
研究人员手工制作了16条系统信息来设计LFM不同类型的回复，可以生成创造性的内容以及解决信息查询问题，最重要的是能够根据提示生成解释和逐步推理的答案。
用户查询（user query）定义了希望LFM执行的实际任务。
为了获得大量的、多样化的用户查询，研究人员利用FLAN-v2集合，从中抽取500万个用户查询（FLAN-5M），并收集ChatGPT的回复；然后进一步从500万条指令中抽出100万条指令（FLAN-1M），收集GPT-4的回复。
FLAN-v2集合由五个子集合组成，即CoT、NiV2、T0、Flan 2021和Dialogue，其中每个子集包含多个任务，每个任务都是一个查询的集合。
每个子集合都与多个学术数据集相关，并且每个数据集都有一个或多个任务，主要关注零样本和少样本的查询。
在这项工作中，研究人员只取样训练Orca的零样本查询，并且没有从Dialogue子集中取样，因为这些查询往往缺乏背景，无法从ChatGPT中获得有用的回复。
让ChatGPT扮演Teaching Assistant
首先在FLAN-5M数据上训练Orca（ChatGPT增强），随后在FLAN-1M上进行第二阶段的训练（GPT-4增强）。
将ChatGPT作为中间的教师助手主要有两个原因：
1. 能力差距
虽然GPT-4的参数量没有公开，但130亿参数的Orca肯定比GPT-4要小很多倍，而ChatGPT和Orca之间的能力差距更小，更适合作为中间教师，并且这种方式已经被证明可以提高更小的学生模型在知识蒸馏中的模仿学习性能。
这种方式也可以看作是一种渐进式学习或课程学习，学生首先从较容易的例子中学习，然后再学习较难的例子，假定了较长的回复会比较短的回复更难模仿，可以从更大规模的教师模型中改进推理和逐步解释能力。
2. 成本和时间
从Azure OpenAI API进行大规模数据收集时会受到一些限制，包括每分钟请求的速率限制，防止流量过大；由于服务延迟问题，每分钟可用的token数量有限；提示长度和token补全的金钱成本。
相比之下，ChatGPT API比GPT-4终端更快、更便宜，所以从ChatGPT上收集了比GPT-4多5倍的数据。
从ChatGPT和GPT-4对应于不同系统消息的回复长度分布中可以观察到，GPT-4的回复平均比ChatGPT长1.5倍，使得Orca能够逐步从教师解释的复杂性中学习，并通过消融实验证明了教师帮助的影响。
训练
在分词阶段，研究人员利用LLaMA的字节对编码（BPE）分词器来处理输入的样本，其中多位数字会被分割成多个单数字，并回落到字节来分解未知的UTF-8字符。
为了处理可变长度的序列，在LLaMA分词器的词汇表中引入了一个填充词[[PAD]]，最终的词汇表包含32001个token
为了优化训练过程并有效利用可用的计算资源，研究人员利用了packing技术，将多个输入实例串联成一个序列后再训练模型。
在packing的过程中，串联序列的总长度不超过max_len=2048 tokens，对输入的样本进行随机打乱后将分成几组，每组串联序列的长度最多为max_len
考虑到训练数据中增强指令的长度分布，每个序列的打包系数为2.7
为了训练Orca，研究人员选择只计算教师模型生成token的损失，也就是说学习生成以系统信息和任务指令为条件的回复，可以确保模型专注于从最相关和最有信息的token中学习，提高了训练过程的整体效率和效果。
最后在20个装有80GB内存的NVIDIA A100 GPU上训练Orca，先在FLAN-5M（ChatGPT增强）上训练4个epoch，花了160个小时；然后在FLAN-1M（GPT-4增强）上继续训练4个epoch
由于流量限制、终端负载以及回复的长度问题，从GPT-3.5-turbo（ChatGPT）和GPT-4的多个终端收集数据分别用了2周和3周的时间。
实验部分
研究人员主要验证了Orca在推理上的能力。
在AGIEval的实验中可以看到，Orca的表现与Text-da-Vinci-003相当，并实现了ChatGPT 88%的性能表现，不过明显落后于GPT-4
对于分析和推理任务，Vicuna的表现明显更差，只保留了62%的ChatGPT质量，表明这种开源语言模型的推理能力很差。
虽然Orca与Text-da-Vinci-003的表现相当，但仍然比ChatGPT低5分，Orca在与数学有关的任务（在SAT、GRE、GMAT中）上与ChatGPT表现出较大的差距。
与Vicuna相比，Orca显示出更强的性能，在每个类别上都超过了Vicuna，平均有42%的相对提高。
GPT-4的性能远远超过了所有其他模型，但在这个基准中仍有很大的提升空间，目前所有模型的性能都明显低于人类的得分。
Orca的性能根据系统信息的类型有很大的不同，对于训练的模型来说，空的系统消息往往效果很好。
Orca在不同任务的325个样本中超越了ChatGPT（Orca-beats-ChatGPT例子），其中大部分来自LogiQA（29%），而其他LSAT任务和SAT-英语任务各占不到10%
在Big-Bench Hard Results数据集上的推理评估结果显示，Orca在所有任务中的综合表现上略好于ChatGPT，但明显落后于GPT-4；比Vicuna性能高出113%
Postman是一套面向API全生命周期的开发与测试平台，可在Mac上发送和调试多种协议请求，管理集合、环境及认证信息，并完成脚本测试、模拟服务、监控、文档发布和团队协作。它适合开发、测试及运维人员使用，提供个人免费方案。
Docker Desktop 是 Docker 官方为 Mac 提供的容器开发环境，集成 Docker Engine、命令行工具、Compose、Build、Kubernetes 与图形化管理界面。
Android Studio 是 Google 面向安卓应用开发提供的官方集成开发环境，基于 IntelliJ IDEA 构建。它整合智能代码编辑、Gradle 构建、界面预览、设备模拟、性能分析、调试测试及 APK 分析等工具。
Xcode 是苹果面向 Mac 提供的官方集成开发环境，将代码编辑、项目构建、SwiftUI 实时预览、设备模拟、自动化测试、断点调试、性能分析和应用分发整合在同一套工作流中，适合开发与维护 iPhone、iPad、Mac、Apple Wa
JetBrains WebStorm 是面向 JavaScript、TypeScript 和现代 Web 技术的专业集成开发环境，可智能理解项目结构，提供代码补全、重构、错误检查、运行调试、测试及 Git 工具。
PhpStorm 是 JetBrains 推出的专业 PHP 集成开发环境，可在 Mac 上完成代码编写、智能检查、重构、调试、测试和数据库管理。它支持主流 PHP 框架、Composer、Git、Docker 与远程解释器。
JetBrains PyCharm 是面向 Python 开发者的集成开发环境，提供智能补全、代码检查、重构、调试、测试、版本控制及虚拟环境管理功能。Mac 版兼容 Intel 与 Apple 芯片，核心功能可免费使用。
IntelliJ IDEA 是 JetBrains 推出的专业集成开发环境，重点服务于 Java、Kotlin 与 JVM 项目开发。软件集成代码补全、静态检查、重构、调试、测试、版本控制及构建工具，并可借助插件扩展语言和框架支持。
Visual Studio Code 是微软提供的免费代码编辑器，支持 macOS，并为 Intel 与 Apple 芯片 Mac 提供适配版本。软件集代码编辑、调试、Git 源代码管理、集成终端和扩展市场于一体。
REAPER是Cockos开发的数字音频工作站，提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片，支持AU、VST、VST3、CLAP等插件格式，并提供高度可定制的工作流程。
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Pro Tools 是 Avid 推出的专业数字音频工作站，覆盖多轨录音、无损剪辑、MIDI 编曲、插件处理、自动化混音及声音与画面同步等工作。它拥有 Intro、Artist、Studio 和 Ultimate 等方案。
PixPix 是面向品牌、卖家和内容团队的在线 AI 图片视频创作平台，提供图视频 Agent、无限画布、图片生成、视频生成、自然语言编辑及商品套图、产品精修和带货视频等电商工具。
Postman 是面向 API 全生命周期的开发与协作平台。Windows 桌面版可用于构建和发送 HTTP、GraphQL、gRPC、WebSocket、MQTT 等请求，并提供环境变量、集合、脚本测试、模拟服务、监控、文档及团队工作区等
Docker Desktop 为 Windows 开发者提供集成式容器环境，内置 Docker Engine、命令行工具、Compose、Build 与 Kubernetes 等组件，可在本机完成镜像构建、容器运行、日志查看和资源管理。
Android Studio 是 Google 面向 Android 应用开发提供的官方集成开发环境，以 IntelliJ IDEA 为基础，集成智能代码编辑、Gradle 构建、设备模拟、界面预览、调试测试及性能分析工具，
WebStorm 是 JetBrains 面向 JavaScript、TypeScript 和现代 Web 技术打造的集成开发环境。它提供项目级代码分析、智能补全、安全重构、导航搜索，并集成调试、测试、终端、Git 与常用前端工具，
PhpStorm 是 JetBrains 面向 PHP 与现代 Web 开发打造的专业集成开发环境，提供代码补全、静态检查、重构、调试、测试、数据库、版本控制及前端语言支持。Windows 用户可直接下载安装程序，
PyCharm 是 JetBrains 推出的 Python 集成开发环境，提供智能代码补全、错误检查、重构、调试、测试、Git、终端及 Jupyter Notebook 支持。统一版安装后可体验 30 天 Pro 功能，
JetBrains IntelliJ IDEA 是以 Java、Kotlin 和 JVM 项目为核心的专业集成开发环境，提供智能补全、代码检查、安全重构、调试、测试、版本控制及构建工具集成。统一发行版的核心功能可免费用于商业和非商业项目，
Visual Studio Code 是微软推出的免费代码编辑器，Windows 版集成智能补全、代码导航、调试、终端和版本控制，并可通过扩展添加语言、格式化及远程开发能力。它启动较快、配置灵活，
REAPER 是 Cockos 推出的数字音频工作站，适用于录音、MIDI 编曲、音频编辑、混音、母带制作及声音设计。软件安装包小巧，支持多轨录制、灵活路由、自动化、第三方插件和脚本扩展，并提供完整功能的 60 天免费评估期。
Adobe Audition 是面向播客、影视后期、广播与音乐制作的专业音频工作站，提供波形编辑、多轨混音、频谱分析、录音、降噪修复和效果处理等功能。Windows 版通过 Adobe Creative Cloud 安装和管理，
Pro Tools 是 Avid 推出的专业数字音频工作站，提供多轨录音、音频剪辑、MIDI编曲、插件处理、自动化混音及影视声音制作能力。它适合音乐人、录音师、制作人和音频后期团队使用，并提供免费入门版、订阅方案及永久授权选择。