这些技术，ChatGPT和它的潜在竞争者们都在用
Air Explorer Pro是一款跨平台多网盘管理工具，可实现一站式完成不同网盘间文件的互传、搜索和同步等操作。任务管理和过程控制会更完整，持续下载、批量同步或需要稳定传输流程的场景会更适合它。
随着ChatGPT的出现以及随之而来的广泛讨论，RLHF、SFT、IFT、CoT等晦涩的缩略词出现在公众面前，这都归功于ChatGPT的成功。这些晦涩的缩略词是什么？为什么它们如此重要？本文作者查阅了所有关于这些主题的重要论文，进行了分类总结。ChatGPT并不是第一个基于语言模型（LM）的对话智能体，事实上，许多机构在OpenAI之前发布过语言模型对话智能体，包括MetaBlenderBot、GoogleLaMDA、DeepMind的Sparrow和AnthropicAs
随着 ChatGPT 的出现以及随之而来的广泛讨论，RLHF、SFT、IFT、CoT 等晦涩的缩略词出现在公众面前，这都归功于 ChatGPT 的成功。这些晦涩的缩略词是什么？为什么它们如此重要？本文作者查阅了所有关于这些主题的重要论文，进行了分类总结。
ChatGPT 并不是第一个基于语言模型（LM）的对话智能体，事实上，许多机构在 OpenAI 之前发布过语言模型对话智能体，包括 Meta BlenderBot、Google LaMDA、DeepMind 的 Sparrow 和 Anthropic Assistant。一些机构也宣布建立开源聊天机器人的计划，并公开了路线图（如 LAION 的 Open-Assistant）。肯定还有其它机构在做同样的工作，只是没有宣布。
下表根据上面提到的 AI 聊天机器人是否可公开访问、训练数据、模型架构和评估的详细信息，对它们进行了比较。ChatGPT 没有相关数据，这里使用的是 InstructGPT 的资料，它是 OpenAI 的一个微调模型，被认为是 ChatGPT 的基础。
尽管在训练数据、模型和微调方面存在许多差异，但这些聊天机器人也存在一些共性 —— 指令遵循（instruction following），即根据用户的指令，给出响应。例如让 ChatGPT 写一首关于微调的诗。
从预测文本到遵循指令
通常而言，基础语言建模的目标不足以让模型高效地遵循用户的指示。模型创建者还使用指令微调（Instruction Fine-Tuning，IFT），它可以在多样化任务上对基本模型进行微调，还能应用在情感分析、文本分类、摘要等经典 NLP 任务。
IFT 主要由三个部分组成：指令、输入和输出。输入是可选的，有些任务只需要指令，如上面的 ChatGPT 示例。输入和输出构成实例（instance）。给定的指令可以有多个输入和输出。相关示例如下（[Wang et al., ‘22]）。
IFT 的数据通常使用人类的指令和语言模型 bootstrapped 的指令集合。对于 bootstraping，LM 会在零样本的情况下根据 prompt，生成新的指令、输入和输出。在每一轮中，模型都会得到从人类编写和生成模型中选择的样本的 prompt。人类和模型贡献数据集的情况可以用频谱表示，如下图所示。
一种是纯模型生成的 IFT 数据集如 Unnatural Instructions，另一种是集社区努力、手动创建的指令如 Super natural Instructions。位于这两者之间，选用高质量种子数据集然后进行 bootstrap 如 Self-instruct。为 IFT 收集数据集的另一种方法是将现有高质量众包 NLP 数据集用于各种任务（包括 prompting），并使用统一的模式或不同的模板将这些数据集作为指令，相关工作包括 T0、Natural instructions 数据集、FLAN LM 和 OPT-IML。
安全遵循指令
LM 使用微调后的指令，可能并不总是生成有用安全的响应。这种行为的示例包括无效回应（托词），总是给出诸如「对不起，我不明白」之类的无效回答，或者对用户关于敏感话题的输入做出不安全的回应。
为了解决这种问题，模型开发人员使用监督式微调（Supervised Fine-tuning, SFT），在高质量的人类标记数据上微调基础语言模型，以实现有效和安全的响应。
SFT 和 IFT 紧密相连。指令调优可以看作是监督式微调的子集。在最近的文献中，SFT 阶段通常用于安全主题，而不是在 IFT 之后进行的指令特定主题。未来这种分类和描述会有更清晰的用例和方法。
谷歌的 LaMDA 也是根据一组规则对带有安全注释的对话数据集微调。这些规则通常是由模型创建者预先定义和制定的，包含一系列广泛的主题，如有害、歧视和错误信息。
模型微调
另一方面，OpenAI 的 InstructGPT、DeepMind 的 Sparrow 和 Anthropic 的 ConstitutionalAI 均使用从人类反馈中强化学习（reinforcement learning from human feedback, RLHF）的技术。在 RLHF 中，模型响应基于人类反馈（如选择一个更好的答案）进行排序，然后用这些带注释的响应训练模型，以返回 RL 优化器的 scalar 奖励，最后通过强化学习训练对话智能体来模拟偏好模型。
思维链（Chain-of-thought, CoT）是指令演示的特殊情况，通过从对话智能体中引出逐步推理生成输出。用 CoT 进行微调的模型使用带有逐步推理的人类注释的指令数据集。如下示例所示，橙色标记代表指令，粉色标记代表输入和输出，蓝色标记代表 CoT 推理。
用 CoT 来微调的模型在涉及常识、算术和符号推理的任务上表现得更好。CoT 进行微调也显示出对实现无害性非常有效（有时比 RLHF 做得更好），并且模型不会回避并产生「对不起，我无法回答这个问题」等回复。
要点总结
本文要点总结如下：
1、 与预训练数据相比，只需要非常小的一部分数据来对指令进行微调。
2、 监督式微调使用人工标注使模型输出更安全和更有帮助。
3、 CoT 微调提高模型在逐步思考任务上的性能，并减少了它们在敏感话题上的无效响应或回避不答。
对话智能体的进一步工作思考
最后，作者对未来对话智能体的发展给出了自己的一些思考。
1、 RL 在从人类反馈中学习有多重要？可以通过 IFT 或 SFT 中的高质量数据训练获得与 RLHF 一样的性能吗？
2、 与在 LaMDA 中使用 SFT 相比，在 Sparrow 中使用 SFT+RLHF 的安全性如何？
3、 IFT、SFT、CoT 和 RLHF，需要怎样程度的预训练？tradeoff 是什么？应该使用的最好的基础模型是什么？
4、 文中介绍的许多模型都是经过精心设计，工程师们专门收集导致失败的模式，并根据已处理的问题改善未来的训练（prompts 和方法）。要如何系统地记录这些方法的效果并重现它们？
IntelliJ IDEA 是 JetBrains 推出的专业集成开发环境，重点服务于 Java、Kotlin 与 JVM 项目开发。软件集成代码补全、静态检查、重构、调试、测试、版本控制及构建工具，并可借助插件扩展语言和框架支持。
JetBrains PyCharm 是面向 Python 开发者的集成开发环境，提供智能补全、代码检查、重构、调试、测试、版本控制及虚拟环境管理功能。Mac 版兼容 Intel 与 Apple 芯片，核心功能可免费使用。
JetBrains WebStorm 是面向 JavaScript、TypeScript 和现代 Web 技术的专业集成开发环境，可智能理解项目结构，提供代码补全、重构、错误检查、运行调试、测试及 Git 工具。
Adobe After Effects 是面向动态图形、影视特效与视频合成的专业创作软件。它提供关键帧动画、遮罩抠像、运动跟踪、三维空间、文字动画和表达式等工具，并可与 Premiere Pro、Photoshop、Illustrator
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Adobe Bridge 是面向摄影师、设计师及内容团队的免费数字资产管理工具，可集中预览照片、视频和 Adobe 项目文件，并利用评级、标签、关键词、元数据、筛选与收藏集完成分类检索。它还支持批量重命名、格式导出、相机导入及 Camera
Adobe Illustrator 是 Adobe 推出的专业矢量图形设计软件，适合在 Mac 上制作标志、图标、插画、包装、信息图及印刷版面。它以路径和锚点构建可无损缩放的图形，并提供钢笔、形状、文字、图像描摹、渐变、画板及生成式功能。
Adobe InDesign 是面向印刷品与数字出版物的专业版面设计软件，可在 Mac 上制作书籍、杂志、宣传册、海报、报告及交互式文档。它提供精细的文字样式、网格、母版、长文档管理和印前输出能力。
Adobe Lightroom Classic 是面向桌面摄影工作流的照片管理与后期处理软件，可将原始照片保存在本地硬盘，通过目录、关键词、评分和收藏夹高效整理图库，并提供 RAW 冲印、蒙版、镜头校正、批量同步及多格式导出等功能。
Adobe Media Encoder 是 Adobe 推出的专业音视频编码与转码工具，可通过队列、预设和监视文件夹批量完成格式转换、代理文件创建及多平台成片输出，并与 Premiere Pro、After Effects 等软件紧密协作。
Adobe Photoshop 是面向摄影师、设计师和内容创作者的专业图像处理软件，提供图层、蒙版、选区、修复、调色、文字排版、智能对象及生成式编辑等能力。Mac 版支持 Intel 与 Apple Silicon 处理器。
Adobe Premiere Pro 是面向专业视频制作的非线性剪辑软件，提供多轨时间线、调色、音频处理、字幕、代理工作流和多格式输出能力，并可与 After Effects、Audition、Photoshop 及 Frame.io 协同
JetBrains IntelliJ IDEA 是以 Java、Kotlin 和 JVM 项目为核心的专业集成开发环境，提供智能补全、代码检查、安全重构、调试、测试、版本控制及构建工具集成。统一发行版的核心功能可免费用于商业和非商业项目，
PhpStorm 是 JetBrains 面向 PHP 与现代 Web 开发打造的专业集成开发环境，提供代码补全、静态检查、重构、调试、测试、数据库、版本控制及前端语言支持。Windows 用户可直接下载安装程序，
PyCharm 是 JetBrains 推出的 Python 集成开发环境，提供智能代码补全、错误检查、重构、调试、测试、Git、终端及 Jupyter Notebook 支持。统一版安装后可体验 30 天 Pro 功能，
WebStorm 是 JetBrains 面向 JavaScript、TypeScript 和现代 Web 技术打造的集成开发环境。它提供项目级代码分析、智能补全、安全重构、导航搜索，并集成调试、测试、终端、Git 与常用前端工具，
Adobe Photoshop 是面向摄影师、设计师和内容创作者的专业图像处理工具，可在 Windows 上完成照片修饰、选区抠图、图层合成、文字排版、绘画及生成式编辑。软件采用订阅授权，由 Creative Cloud 管理安装、更新与许
Adobe InDesign 是面向印刷与数字出版的专业页面排版工具，可制作书籍、杂志、宣传册、海报、交互式 PDF 和电子书。它提供精细的文字样式、多页面管理、印前检查及多格式输出能力，并能与 Photoshop、Illustrator
Adobe Illustrator 是用于绘制矢量图形、插画、图标、徽标和版式的专业设计工具。它以路径和锚点为核心，作品放大后仍能保持清晰，并提供画板、文字、渐变、图像描摹及精确变换等功能，适合品牌视觉、印刷物料、数字界面和商业插画创作。
Adobe Bridge 是 Adobe 推出的创意资产管理工具，可集中预览、分类和查找照片、视频、PDF及多种设计文件，并支持元数据、关键词、评级、批量重命名和格式导出。它可与 Photoshop、Illustrator 等应用衔接，
Adobe Lightroom Classic 是面向 Windows 桌面摄影工作流的照片管理与无损编辑工具，可通过目录集中整理大型图库，并完成 RAW 显影、局部蒙版、批量调整、打印和多格式导出。它强调本地文件管理与精细控制，
Adobe Acrobat Pro 是面向专业 PDF 工作的综合解决方案，可在 Windows 中创建、编辑、转换、比较、整理和保护文档，并支持表单、电子签名、扫描件文字识别及敏感信息永久遮盖。订阅还包含网页、移动服务和云端协作能力，
Adobe After Effects 是面向动态图形、动画与影视视觉特效制作的专业工具，可完成关键帧动画、图层合成、遮罩跟踪、抠像、文字动画和二维三维元素整合。Windows 版通过 Adobe Creative Cloud 安装及更新，
Adobe Media Encoder 是 Adobe 面向视频与音频制作流程提供的专业编码和转码工具，可批量处理媒体文件、创建代理、套用输出预设并监控文件夹自动执行任务。它与 Premiere、After Effects、Audition