十行代码媲美RLHF，用社交游戏数据训练社会对齐模型
让语言模型的行为符合人类社会价值观是当前语言模型开发的重要环节。相应的训练也被称为价值对齐（valuealignment）。当前主流的方案是ChatGPT所采用的RLHF（ReinforcenmentLearningfromHumanFeedback），也就是在人类反馈上进行强化学习。这一方案首先先训练一个rewardmodel（价值模型）作为人类判断的代理。代理模型在强化学习阶段为生成式语言模型的提供奖励作为监督信号。这一方法存在如下痛点：1.代理模型产生的奖励很容易被破除或者篡改。2.在训练过程中，代
让语言模型的行为符合人类社会价值观是当前语言模型开发的重要环节。相应的训练也被称为价值对齐 （value alignment）。
当前主流的方案是 ChatGPT 所采用的 RLHF （Reinforcenment Learning from Human Feedback），也就是在人类反馈上进行强化学习。这一方案首先先训练一个 reward model （价值模型）作为人类判断的代理。代理模型在强化学习阶段为生成式语言模型的提供奖励作为监督信号。
这一方法存在如下痛点：
1.代理模型产生的奖励很容易被破除或者篡改。
2. 在训练过程中，代理模型需要和生成式模型进行不断交互，而这一过程可能非常耗时且效率不高。为了保证高质量的监督信号，代理模型不应小于生成式模型，这也就意味着在强化学习优化过程中，至少有两个比较大的模型需要交替进行推理（判断得到的奖励）和参数更新（生成式模型参数优化）。这样的设定在大规模分布式训练中可能会非常不便。
3. 价值模型本身并无和人类思考模型上明显的对应。我们脑海中并没有一个单独的打分模型，而且实际上长期维护一个固定的打分标准也非常困难。相反，我们的成长过程中价值判断的形成大部分来自每天的社交 —— 通过对相似场景的不同社交反馈的分析，我们逐渐意识到什么是会被鼓励的，什么是不允许的。这些通过大量 “社交 — 反馈 — 改进” 而逐渐积累的经验和共识成为了人类社会共同的价值判断。
最近一项来自达特茅斯，斯坦福，谷歌 DeepMind 等机构的研究表明，利用社交游戏构造的高质量数据配合简单高效的对齐算法，也许才是实现 alignment 的关键所在。
- 文章地址：https://arxiv.org/pdf/2305.16960.pdf
- 代码地址：https://github.com/agi-templar/Stable-Alignment
- 模型下载（包含基座，SFT，和对齐模型）：https://huggingface.co/agi-css
作者提出一种在多智能体游戏数据上训练的对齐方法。基本思想可以理解为将训练阶段的奖励模型和生成式模型的在线交互，转移到游戏中大量自主智能体之间的离线交互之中（高采样率，提前预演博弈）。游戏环境的运行独立于训练，并且可以大量并行。监督信号从取决于代理奖励模型的性能变成取决于大量自主智能体的集体智慧。
为此作者设计了一个虚拟社会模型，称之为沙盒 Sandbox。沙盒是一个格点构成的世界，每一个格点是一个 social agent (社交体)。社交体具有记忆系统，用于存储每一次交互的问题，回答，反馈等各种信息。在社交体每一次对于问题做出回答时，都要先从记忆系统中检索并返回和问题最相关的 N 条历史问答，作为这一次回复的上下文参考。通过这一设计，社交体能在多轮互动中的立场不断更新，且更新的立场能和过去保持一定延续性。初始化阶段每一个社交体都有不同的预设立场。
将游戏数据转化为 alignment 数据
在实验中作者使用 10x10 的格点沙盒（一共 100 个社交体）进行社会仿真，且制定了一个社会规则（即所谓 Sandbox Rule）：所有社交体必须通过使自己对于问题的回答更加 socially aligned （社交对齐）来给其它社交体留下好的印象。此外沙盒还部署了没有记忆的观察者，在每一次社交前后，给社交体的答复做出打分。打分基于 alignment 和 engagement 两个维度。
使用不同模型在沙盒中的模拟人类社会
作者利用沙盒 Sandbox 测试了不同大小，以及不同训练阶段的语言模型。整体而言，经过 alignment 训练的模型 （即所谓 “对齐后的模型”），比如 davinci-003, GPT-4，和 ChatGPT，能在更少的交互轮次中就能生成符合社会规范的回复。换句话说，alignment 训练的意义就在于让模型在 “开箱即用” 的场景下更加安全，而不需要特别的多轮对话引导。而未经 alignment 训练的模型，不仅需要更多的交互次数使回复达到 alignment 和 engagement 的整体最优，而且这种整体最优的上限显著低于对齐后的模型。
作者同时提出一种简便易行的对齐算法，称为 Stable Alignment （稳定对齐），用于从沙盒的历史数据中学习 alignment。稳定对齐算法在每一个 mini-batch （小批次）中进行打分调制的对比学习 —— 回复的得分越低，对比学习的边界值就会被设定的越大 —— 换句话说，稳定对齐通过不断采样小批次数据，鼓励模型生成更接近高分回复，更不接近低分回复。稳定对齐最终会收敛于 SFT 损失。作者还对稳定对齐和 SFT，RLHF 的差异进行了讨论。
作者特别强调来自沙盒 Sandbox 的游戏的数据，由于机制的设定，大量包含通过修订 （revision）而成为符合社会价值观的数据。作者通过消融实验证明这种大量自带渐进式 （step-by-step）改进的数据是稳定训练的关键。
作者还和当前主流对齐算法性能和训练稳定性进行了性能上的比较，证明稳定对齐不仅比 reward modeling 更稳定，而且在通用性能和 alignment 性能上都足以媲美 RLHF (由于 ChatGPT 使用未公开的模型，数据和算法，因此仅作为参考)。
实例生成结果：
更多细节请参考论文。
Postman是一套面向API全生命周期的开发与测试平台，可在Mac上发送和调试多种协议请求，管理集合、环境及认证信息，并完成脚本测试、模拟服务、监控、文档发布和团队协作。它适合开发、测试及运维人员使用，提供个人免费方案。
Docker Desktop 是 Docker 官方为 Mac 提供的容器开发环境，集成 Docker Engine、命令行工具、Compose、Build、Kubernetes 与图形化管理界面。
Android Studio 是 Google 面向安卓应用开发提供的官方集成开发环境，基于 IntelliJ IDEA 构建。它整合智能代码编辑、Gradle 构建、界面预览、设备模拟、性能分析、调试测试及 APK 分析等工具。
Xcode 是苹果面向 Mac 提供的官方集成开发环境，将代码编辑、项目构建、SwiftUI 实时预览、设备模拟、自动化测试、断点调试、性能分析和应用分发整合在同一套工作流中，适合开发与维护 iPhone、iPad、Mac、Apple Wa
JetBrains WebStorm 是面向 JavaScript、TypeScript 和现代 Web 技术的专业集成开发环境，可智能理解项目结构，提供代码补全、重构、错误检查、运行调试、测试及 Git 工具。
PhpStorm 是 JetBrains 推出的专业 PHP 集成开发环境，可在 Mac 上完成代码编写、智能检查、重构、调试、测试和数据库管理。它支持主流 PHP 框架、Composer、Git、Docker 与远程解释器。
JetBrains PyCharm 是面向 Python 开发者的集成开发环境，提供智能补全、代码检查、重构、调试、测试、版本控制及虚拟环境管理功能。Mac 版兼容 Intel 与 Apple 芯片，核心功能可免费使用。
IntelliJ IDEA 是 JetBrains 推出的专业集成开发环境，重点服务于 Java、Kotlin 与 JVM 项目开发。软件集成代码补全、静态检查、重构、调试、测试、版本控制及构建工具，并可借助插件扩展语言和框架支持。
Visual Studio Code 是微软提供的免费代码编辑器，支持 macOS，并为 Intel 与 Apple 芯片 Mac 提供适配版本。软件集代码编辑、调试、Git 源代码管理、集成终端和扩展市场于一体。
REAPER是Cockos开发的数字音频工作站，提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片，支持AU、VST、VST3、CLAP等插件格式，并提供高度可定制的工作流程。
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Pro Tools 是 Avid 推出的专业数字音频工作站，覆盖多轨录音、无损剪辑、MIDI 编曲、插件处理、自动化混音及声音与画面同步等工作。它拥有 Intro、Artist、Studio 和 Ultimate 等方案。
PixPix 是面向品牌、卖家和内容团队的在线 AI 图片视频创作平台，提供图视频 Agent、无限画布、图片生成、视频生成、自然语言编辑及商品套图、产品精修和带货视频等电商工具。
Postman 是面向 API 全生命周期的开发与协作平台。Windows 桌面版可用于构建和发送 HTTP、GraphQL、gRPC、WebSocket、MQTT 等请求，并提供环境变量、集合、脚本测试、模拟服务、监控、文档及团队工作区等
Docker Desktop 为 Windows 开发者提供集成式容器环境，内置 Docker Engine、命令行工具、Compose、Build 与 Kubernetes 等组件，可在本机完成镜像构建、容器运行、日志查看和资源管理。
Android Studio 是 Google 面向 Android 应用开发提供的官方集成开发环境，以 IntelliJ IDEA 为基础，集成智能代码编辑、Gradle 构建、设备模拟、界面预览、调试测试及性能分析工具，
WebStorm 是 JetBrains 面向 JavaScript、TypeScript 和现代 Web 技术打造的集成开发环境。它提供项目级代码分析、智能补全、安全重构、导航搜索，并集成调试、测试、终端、Git 与常用前端工具，
PhpStorm 是 JetBrains 面向 PHP 与现代 Web 开发打造的专业集成开发环境，提供代码补全、静态检查、重构、调试、测试、数据库、版本控制及前端语言支持。Windows 用户可直接下载安装程序，
PyCharm 是 JetBrains 推出的 Python 集成开发环境，提供智能代码补全、错误检查、重构、调试、测试、Git、终端及 Jupyter Notebook 支持。统一版安装后可体验 30 天 Pro 功能，
JetBrains IntelliJ IDEA 是以 Java、Kotlin 和 JVM 项目为核心的专业集成开发环境，提供智能补全、代码检查、安全重构、调试、测试、版本控制及构建工具集成。统一发行版的核心功能可免费用于商业和非商业项目，
Visual Studio Code 是微软推出的免费代码编辑器，Windows 版集成智能补全、代码导航、调试、终端和版本控制，并可通过扩展添加语言、格式化及远程开发能力。它启动较快、配置灵活，
REAPER 是 Cockos 推出的数字音频工作站，适用于录音、MIDI 编曲、音频编辑、混音、母带制作及声音设计。软件安装包小巧，支持多轨录制、灵活路由、自动化、第三方插件和脚本扩展，并提供完整功能的 60 天免费评估期。
Adobe Audition 是面向播客、影视后期、广播与音乐制作的专业音频工作站，提供波形编辑、多轨混音、频谱分析、录音、降噪修复和效果处理等功能。Windows 版通过 Adobe Creative Cloud 安装和管理，
Pro Tools 是 Avid 推出的专业数字音频工作站，提供多轨录音、音频剪辑、MIDI编曲、插件处理、自动化混音及影视声音制作能力。它适合音乐人、录音师、制作人和音频后期团队使用，并提供免费入门版、订阅方案及永久授权选择。