大模型Meta通过自我奖励和迭代战胜GPT-4，证明了LLM终局是由合成数据构成的
Llama2-70B一夜之间打败GPT-4，让整个AI社区为之震惊！甚至，在AlpacaEval2.0排行榜中，微调后的模型胜率完全碾压Claude2、GeminiPro等模型。Meta和NYU研究团队究竟提出了什么秘制配方，才能让Llama2-70B超强进化？题目所述的「自我奖励语言模型」是一个训练数据生成和评估的模型，它使用生成的数据自行进行训练。简单来说，最新方法可以让LLM在迭代训练过程中不断自我改进。论文地址：https://arxiv.org/pdf/2401.10020.pdfLeCun也转
Llama 2-70B一夜之间打败GPT-4，让整个AI社区为之震惊！
甚至，在AlpacaEval 2.0排行榜中，微调后的模型胜率完全碾压Claude 2、Gemini Pro等模型。
Meta和NYU研究团队究竟提出了什么秘制配方，才能让Llama 2-70B超强进化？
题目所述的「自我奖励语言模型」是一个训练数据生成和评估的模型，它使用生成的数据自行进行训练。
简单来说，最新方法可以让LLM在迭代训练过程中不断自我改进。
论文地址：https://arxiv.org/pdf/2401.10020.pdf
LeCun也转赞了自家实验室的研究。
RLAIF已经不是新鲜事了，之前包括Anthropic，谷歌都推出过自己的「AI训AI」的技术，那么Meta的这项工作和之前的几家的RLAIF区别在哪里呢？
我们先来了解一下Meta的自我奖励语言模型的大概框架。
研究团队开发了一个能够遵循指令和自我评价回复质量的能力的模型。模型可以生成新的训练数据，对生成的回复进行质量评分，从而不断改进自己的输出。
模型首先根据少量人工标注数据进行预训练，获得初始化模型。
然后模型生成新的指令和多个候选回复，并使用LLM-as-a-Judge的提示，让模型对自己生成的回复打分。
根据打分形成新的训练数据，继续训练模型。
这样可以迭代训练，在每次迭代中模型的遵循指令能力和打分能力都会提升。
研究人员从Llama 2 70B预训练模型开始迭代训练。
结果显示在3次迭代中，模型遵循指令的能力有显著提升，同时奖励建模能力也在提高，评价结果与人工判断的相关性更高。
这说明模型迭代过程中，不仅指令遵循能力提高，也更善于对自己生成的回复进行判断。
迭代第三次的模型在AlpacaEval 2.0基准测试中，就战胜了Claude 2、Gemini Pro、GPT-4 0613等模型。
Meta的这项工作与谷歌在去年9月发布的RLAIF论文相比，更近一步地使用了一个不断进化的奖励模型来不断迭代训练模型，而迭代后的模型也确实取得了明显可见的性能提升。
可以说，Meta又将AI自我迭代大模型的前沿往前推进了一大步。
如何训练「自我奖励语言模型」
研究人员的方法首先假设可以访问基本的预训练语言模型和少量人工注释的种子数据。
然后研究人员建立一个模型，让它同时拥有两种能力：
- 指令遵循：给出描述用户请求的提示，能够生成高质量、有帮助（且无害）的响应。
- 自指令创建：能够按照示例生成和评估新指令，再添加到自己的训练集中。
这两个能力可以为了使模型能够执行自我对齐，即它们是用于使用人工智能反馈（AIF）迭代训练自身的组件。
自指令创建包括生成候选响应，然后模型本身判断其质量——充当自己的奖励模型，取代外部奖励模型。
这是通过LLM-as-a-Judge机制实现的：通过将响应评估制定为遵循指令的任务。
这个由模型自行创建的AIF偏好数据被用作训练集来训练模型。
整体自我对齐过程是一个不断迭代过程，通过构建一系列此类模型来进行，目的是每个模型都比上一个模型有所改进。
重要的是，由于模型既可以提高其生成能力，又可以通过相同的生成机制作为自己的奖励模型，这意味着奖励模型本身可以通过迭代过程来改进，这就不同于奖励模型固定不变的传统方法。
研究人员相信这样可以提高这些学习模型未来自我改进的潜力上限，消除限制性瓶颈。
初始化
种子指令跟随数据
研究人员获得一组人工编写的（指令提示、响应）一般指令。
他们使用这些示例从预训练的基础语言模型开始，用监督微调 (SFT) 的方式进行训练。
种子LLM-as-a-Judge指令跟随数据
研究人员假设他们提供了一组种子（评估指令提示、评估结果响应）示例，这些示例也可用于训练。
虽然这并不是绝对必要的，因为使用IFT数据的模型已经能够训练LLM成为judge，而且研究人员表明此类训练数据可以提供改进的结果。
在这些数据中，输入提示要求模型评估对特定指令的给定响应的质量。
提供的评估结果响应包括思路推理，然后是最终分数（在研究人员的实验中，满分 5 分）。
研究人员为这些提示选择的格式如下图2所示。作为LLM执行奖励模型角色的训练数据。
这些数据被称为评估微调（EFT）数据。
研究人员在训练期间使用这两个种子数据集。
再用3个步骤来创建自我指令：
-使用研究人员已经训练好的模型，研究人员可以让它自我修改自己的训练集。具体来说，就是为下一次训练迭代生成额外的训练数据。
-生成候选响应：然后，对于给定的提示 x，研究人员生成 N 个不同的候选响应 {y, . 。。, y} 。
-评估候选响应：最后，研究人员使用同一模型的LLM-as-a-Judge能力来评估其自己的候选响应，得分为 r∈ [0, 5]（见图 2）。
指令遵循训练
训练最初是使用种子 IFT 和 EFT 数据进行的，这与奖励模型固定的标准实践不同。然后通过AI（自我）反馈添加附加数据。
AI反馈训练
执行自指令创建过程后，研究人员可以使用额外的训练示例来扩充种子数据，研究人员将其称为 AI 反馈训练 (AIFT) 数据。
他们尝试了此类反馈的两种变体：
偏好对：研究人员构建以下形式的训练数据（指令提示 x，获胜响应 y，失败响应 y）。为了形成获胜和失败对，研究人员从 N 个评估的候选答案中选取最高和最低得分的答案。
将这些对可用于通过偏好调整算法进行训练。
仅正面示例：在此变体中，研究人员遵循其他方法，将模型策划的（指令提示、响应）附加示例添加到种子集中，以进行监督微调。
整体自对齐算法
迭代训练
研究人员的整个过程训练一系列模型。其中每个连续模型t使用由t − 1模型创建的增强训练数据。
因此，研究人员将AIFT(M)定义为使用模型M创建的AI反馈训练数据。
M：基础预训练LLM，没有微调。
M1：用M初始化，然后使用SFT对IFT+EFT种子数据进行微调。
M2：用M1初始化，然后使用DPO用AIFT(M1)数据进行训练。
M3：用M2初始化，然后使用DPO用AIFT(M2)数据进行训练。
实验结果
如文章开始所提到的那张图中，研究人员将微调后Llama 2-70B三个迭代版本与其他先进模型在AlpacaEval 2.0基准上进行了比较。
结果显示，第三次迭代后的Llama 2-70B模型打败了GPT-4 0613、Claude 2、Gemini Pro等模型。
此外，Llama 2-70B每个迭代版本比较，改进几乎保持线性。
研究人员通过各种指标来评估作为评估者的大模型，这些指标衡量与保留的人类偏好数据的一致性。
自我奖励迭代2（模型M2），使用从其先前迭代M1派生的自我奖励模型进行训练，其性能优于迭代1（M1）。
而M1本身也优于仅利用指令微调（IFT）数据训练的标准SFT基准模型。迭代3（模型 M3）比迭代2有了进一步提高。
在这个框架之中，研究人员发现，奖励模型的性能也能随着迭代不断提高。
模型M2使用来自M1的奖励模型进行训练，与M1相比，在所有五个指标上都体现出了更好的性能。
例如，成对准确（pairwise accuracy）率从78.7%提高到 80.4%。M3继续进一步改进了其中几个指标。
研究人员猜测，是由于模型在指令遵循方面变得更好，因此它在LLM-as-a-Judge的任务方面也有所改进。
网友：让开源再次伟大
Meta和NYU的最新研究让许多人惊呼「让开源再次伟大」。
俄亥俄州立大学计算机工程助理教授Yu Su表示，2024年才刚刚开始，我们已经从合成数据中看到了许多重要成果。我个人认为，这不仅仅是「数据增强」的改头换面。以前的数据增强工作在很大程度上依赖于「人类工程」，而现在更像是LLM的「想象力」...
越来越多的研究表明，「人工训练数据耗尽」不会阻止LLM的发展。
这是DPO的「Attention Is All You Need」的时刻。
还有人表示「令人惊讶的是，每次迭代的改进几乎保持线性，仅在3次迭代之后，就已经接近GPT-4级别」。
Postman是一套面向API全生命周期的开发与测试平台，可在Mac上发送和调试多种协议请求，管理集合、环境及认证信息，并完成脚本测试、模拟服务、监控、文档发布和团队协作。它适合开发、测试及运维人员使用，提供个人免费方案。
Docker Desktop 是 Docker 官方为 Mac 提供的容器开发环境，集成 Docker Engine、命令行工具、Compose、Build、Kubernetes 与图形化管理界面。
Android Studio 是 Google 面向安卓应用开发提供的官方集成开发环境，基于 IntelliJ IDEA 构建。它整合智能代码编辑、Gradle 构建、界面预览、设备模拟、性能分析、调试测试及 APK 分析等工具。
Xcode 是苹果面向 Mac 提供的官方集成开发环境，将代码编辑、项目构建、SwiftUI 实时预览、设备模拟、自动化测试、断点调试、性能分析和应用分发整合在同一套工作流中，适合开发与维护 iPhone、iPad、Mac、Apple Wa
JetBrains WebStorm 是面向 JavaScript、TypeScript 和现代 Web 技术的专业集成开发环境，可智能理解项目结构，提供代码补全、重构、错误检查、运行调试、测试及 Git 工具。
PhpStorm 是 JetBrains 推出的专业 PHP 集成开发环境，可在 Mac 上完成代码编写、智能检查、重构、调试、测试和数据库管理。它支持主流 PHP 框架、Composer、Git、Docker 与远程解释器。
JetBrains PyCharm 是面向 Python 开发者的集成开发环境，提供智能补全、代码检查、重构、调试、测试、版本控制及虚拟环境管理功能。Mac 版兼容 Intel 与 Apple 芯片，核心功能可免费使用。
IntelliJ IDEA 是 JetBrains 推出的专业集成开发环境，重点服务于 Java、Kotlin 与 JVM 项目开发。软件集成代码补全、静态检查、重构、调试、测试、版本控制及构建工具，并可借助插件扩展语言和框架支持。
Visual Studio Code 是微软提供的免费代码编辑器，支持 macOS，并为 Intel 与 Apple 芯片 Mac 提供适配版本。软件集代码编辑、调试、Git 源代码管理、集成终端和扩展市场于一体。
REAPER是Cockos开发的数字音频工作站，提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片，支持AU、VST、VST3、CLAP等插件格式，并提供高度可定制的工作流程。
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Pro Tools 是 Avid 推出的专业数字音频工作站，覆盖多轨录音、无损剪辑、MIDI 编曲、插件处理、自动化混音及声音与画面同步等工作。它拥有 Intro、Artist、Studio 和 Ultimate 等方案。
PixPix 是面向品牌、卖家和内容团队的在线 AI 图片视频创作平台，提供图视频 Agent、无限画布、图片生成、视频生成、自然语言编辑及商品套图、产品精修和带货视频等电商工具。
Postman 是面向 API 全生命周期的开发与协作平台。Windows 桌面版可用于构建和发送 HTTP、GraphQL、gRPC、WebSocket、MQTT 等请求，并提供环境变量、集合、脚本测试、模拟服务、监控、文档及团队工作区等
Docker Desktop 为 Windows 开发者提供集成式容器环境，内置 Docker Engine、命令行工具、Compose、Build 与 Kubernetes 等组件，可在本机完成镜像构建、容器运行、日志查看和资源管理。
Android Studio 是 Google 面向 Android 应用开发提供的官方集成开发环境，以 IntelliJ IDEA 为基础，集成智能代码编辑、Gradle 构建、设备模拟、界面预览、调试测试及性能分析工具，
WebStorm 是 JetBrains 面向 JavaScript、TypeScript 和现代 Web 技术打造的集成开发环境。它提供项目级代码分析、智能补全、安全重构、导航搜索，并集成调试、测试、终端、Git 与常用前端工具，
PhpStorm 是 JetBrains 面向 PHP 与现代 Web 开发打造的专业集成开发环境，提供代码补全、静态检查、重构、调试、测试、数据库、版本控制及前端语言支持。Windows 用户可直接下载安装程序，
PyCharm 是 JetBrains 推出的 Python 集成开发环境，提供智能代码补全、错误检查、重构、调试、测试、Git、终端及 Jupyter Notebook 支持。统一版安装后可体验 30 天 Pro 功能，
JetBrains IntelliJ IDEA 是以 Java、Kotlin 和 JVM 项目为核心的专业集成开发环境，提供智能补全、代码检查、安全重构、调试、测试、版本控制及构建工具集成。统一发行版的核心功能可免费用于商业和非商业项目，
Visual Studio Code 是微软推出的免费代码编辑器，Windows 版集成智能补全、代码导航、调试、终端和版本控制，并可通过扩展添加语言、格式化及远程开发能力。它启动较快、配置灵活，
REAPER 是 Cockos 推出的数字音频工作站，适用于录音、MIDI 编曲、音频编辑、混音、母带制作及声音设计。软件安装包小巧，支持多轨录制、灵活路由、自动化、第三方插件和脚本扩展，并提供完整功能的 60 天免费评估期。
Adobe Audition 是面向播客、影视后期、广播与音乐制作的专业音频工作站，提供波形编辑、多轨混音、频谱分析、录音、降噪修复和效果处理等功能。Windows 版通过 Adobe Creative Cloud 安装和管理，
Pro Tools 是 Avid 推出的专业数字音频工作站，提供多轨录音、音频剪辑、MIDI编曲、插件处理、自动化混音及影视声音制作能力。它适合音乐人、录音师、制作人和音频后期团队使用，并提供免费入门版、订阅方案及永久授权选择。