破除36年前魔咒！Meta推出反向训练大法消除大模型「逆转诅咒」
Air Explorer Pro是一款跨平台多网盘管理工具，可实现一站式完成不同网盘间文件的互传、搜索和同步等操作。任务管理和过程控制会更完整，持续下载、批量同步或需要稳定传输流程的场景会更适合它。
大语言模型的「逆转诅咒」，被解开了！这个诅咒在去年9月首次被发现，一时间引起LeCun、Karpathy、马库斯等一众大佬的惊呼。由于风光无两、不可一世的大模型竟存在着“阿克琉斯之踵”：一个在“A是B”上训练的语言模型，并不能正确回答出“B是否A”。比如下面这个例子：在LLM明知道「汤姆·克鲁斯的母亲是MaryLeePfeiffer」的情况下，却无法答出「MaryLeePfeiffer的孩子是汤姆·克鲁斯」。——这可是当时最先进的GPT-4，结果连小孩子都具备的正常逻辑思维，LLM却做不到。基于海量的数据
大语言模型的「逆转诅咒」，被解开了！
这个诅咒在去年9月首次被发现，一时间引起LeCun、Karpathy、马库斯等一众大佬的惊呼。
由于风光无两、不可一世的大模型竟存在着“阿克琉斯之踵”：一个在“A是B”上训练的语言模型，并不能正确回答出“B是否A”。
比如下面这个例子：在LLM明知道「汤姆·克鲁斯的母亲是Mary Lee Pfeiffer」的情况下，却无法答出「Mary Lee Pfeiffer的孩子是汤姆·克鲁斯」。
——这可是当时最先进的GPT-4，结果连小孩子都具备的正常逻辑思维，LLM却做不到。
基于海量的数据之上，记住了几乎超过所有人类的知识，却表现得如此呆板，取得了智慧之火，却永远被囚禁于这个诅咒之中。
论文地址：https://arxiv.org/pdf/2309.12288v1.pdf
这事一出，全网一片哗然。
一方面，网友们表示，大模型真傻，真的。单知道「A是B」，却不知道「B是A」，自己终于保住了作为人类的尊严。
而另一方面，研究人员们也开始对此展开研究，快马加鞭解决这个重大挑战。
近日，来自Meta FAIR的研究人员推出了反向训练大法来一举解决LLM的“逆转诅咒”。
论文地址：https://arxiv.org/pdf/2403.13799.pdf
研究人员首先观察到，LLMs从左到右以自回归的方式进行训练，——这可能是导致逆转诅咒的原因。
那么，如果以从右到左的方向来训练LLM（逆向训练），就有可能让模型在反方向上看到事实。
可以将反向文本视为第二语言，通过多任务处理或跨语言预训练，来利用多个不同的来源。
研究人员考虑了4种反向类型：标记反转、单词反转、实体保留反转和随机段反转。
标记和单词反转，通过将序列分别拆分为标记或单词，并颠倒它们的顺序以形成新序列。
实体保留反转，在序列中查找实体名称，并在其中保留从左到右的单词顺序，同时进行单词反转。
随机段反转，将标记化的序列分割成随机长度的块，然后保留每个块内从左到右的顺序。
研究人员在1.4B和7B的参数规模上，测试了这些反转类型的有效性，结果表明，实体保留和随机分段反向训练可以减轻逆向诅咒，甚至在某些情况下完全消除它。
此外，研究人员还发现，与标准的从左到右训练相比，训练前逆转的方式使模型的表现有所提高，——所以反向训练可以作为一种通用的训练方法。
反向训练大法
逆向训练包括获取具有N个样本的训练数据集，并构造反向样本集REVERSE（x）。
函数REVERSE负责反转给定的字符串，具体做法如下：
单词反转 ：每个示例首先被拆分为单词，然后在单词级别反转字符串，用空格将其连接在一起。
实体保留反转：对给定的训练样本运行实体检测器，将非实体也拆分为单词。然后将非实体的单词进行颠倒，而表示实体的单词保留原有词序。
随机段反转：这里没有使用实体检测器，而是尝试使用均匀采样，将序列随机分割成大小为1到k个token之间的句段，然后颠倒这些句段，但保持每个句段内的词序，之后，这些句段使用特殊标记[REV]连接。
上表给出了在给定字符串上，不同反转类型的示例。
此时，语言模型仍然从左到右进行训练，在单词反转的情况下，就相当于从右到左预测句子。
逆向训练涉及对标准和反向示例的训练，因此训练token的数量增加了一倍，同时正向和反向训练样本都混合在一起。
逆向转换可以看作是模型必须学习的第二种语言，请注意，在反转的过程中，事实之间的关系保持不变，模型可以从语法中判断它是处于正向还是反向语言预测模式。
逆向训练的另一个角度可以由信息论来解释：语言建模的目标是学习自然语言的概率分布
反向任务训练测试
实体对映射
首先创建一个简单的基于符号数据集，以研究受控环境中的反转诅咒。
以一对一的方式随机配对实体a和b，训练数据包含所有（a→b）映射对，但仅包含一半的（b→a）映射，另一半作为测试数据。
模型必须从训练数据中推断规则a→b ⇔ b→a，然后将其推广到测试数据中的对。
上表展示了符号反向任务的测试准确率（%）。尽管这项任务很简单，但标准语言模型训练完全失败了，这表明仅靠扩展不太可能解决。
相比之下，反向训练几乎可以解决两个单词实体的问题，但随着实体变长，其性能会迅速下降。
单词反转适用于较短的实体，但对于具有较多单词的实体，实体保留反转是必要的。当最大段长度k至少与实体一样长时，随机段反转表现良好。
恢复人名
上表展示了确定人全名的反转任务，当仅给出出生日期确定一个人的全名时，反转任务的准确性仍然接近于零，——这是因为在本文采用的实体检测方法中，日期被视为三个实体，因此在反转中不会保留它们的顺序。
如果将反转任务简化为仅确定人的姓氏，则单词级别的反转就足够了。
另一个可能会令人感到惊讶的现象是，实体保留方法可以确定该人的全名，但不能确定该人的姓氏。
这是一个已知的现象：语言模型可能完全无法检索知识片段的后期标记（比如姓氏）。
现实世界事实
这里作者训练了一个Llama-2 14亿参数模型，在从左到右方向上训练一个2万亿个token的基线模型。
相比之下，逆向训练仅使用1万亿token，但使用相同的数据子集在从左到右和从右到左两个方向上进行训练，——两个方向合起来是2万亿个token，在计算资源上做到公平公正。
为了测试对现实世界事实的反转能力，研究人员使用了一个名人任务，其中包含“诸如某个名人的母亲是谁”之类的问题，同时还包含更具挑战性的反向问题，比如“某个名人的父母的孩子是谁”。
结果如上表所示。研究人员对每个问题的模型进行多次抽样，如果其中任何一个包含正确答案，则将其视为成功。
一般来说，由于模型在参数数量方面很小，预训练有限，并且缺乏微调，因此准确性通常相对较低。然而，反向训练的表现更加优秀。
36年前的预言
1988年，Fodor和Pylyshyn在《认知》刊物上发了一篇关于思维的系统性的文章。
如果你真的理解这个世界，那你就应该能够理解a相对于b的关系，也能理解b相对于a的关系。
即使是非语言认知生物，也应该能够做到这一点。
Postman是一套面向API全生命周期的开发与测试平台，可在Mac上发送和调试多种协议请求，管理集合、环境及认证信息，并完成脚本测试、模拟服务、监控、文档发布和团队协作。它适合开发、测试及运维人员使用，提供个人免费方案。
Docker Desktop 是 Docker 官方为 Mac 提供的容器开发环境，集成 Docker Engine、命令行工具、Compose、Build、Kubernetes 与图形化管理界面。
Android Studio 是 Google 面向安卓应用开发提供的官方集成开发环境，基于 IntelliJ IDEA 构建。它整合智能代码编辑、Gradle 构建、界面预览、设备模拟、性能分析、调试测试及 APK 分析等工具。
Xcode 是苹果面向 Mac 提供的官方集成开发环境，将代码编辑、项目构建、SwiftUI 实时预览、设备模拟、自动化测试、断点调试、性能分析和应用分发整合在同一套工作流中，适合开发与维护 iPhone、iPad、Mac、Apple Wa
JetBrains WebStorm 是面向 JavaScript、TypeScript 和现代 Web 技术的专业集成开发环境，可智能理解项目结构，提供代码补全、重构、错误检查、运行调试、测试及 Git 工具。
PhpStorm 是 JetBrains 推出的专业 PHP 集成开发环境，可在 Mac 上完成代码编写、智能检查、重构、调试、测试和数据库管理。它支持主流 PHP 框架、Composer、Git、Docker 与远程解释器。
JetBrains PyCharm 是面向 Python 开发者的集成开发环境，提供智能补全、代码检查、重构、调试、测试、版本控制及虚拟环境管理功能。Mac 版兼容 Intel 与 Apple 芯片，核心功能可免费使用。
IntelliJ IDEA 是 JetBrains 推出的专业集成开发环境，重点服务于 Java、Kotlin 与 JVM 项目开发。软件集成代码补全、静态检查、重构、调试、测试、版本控制及构建工具，并可借助插件扩展语言和框架支持。
Visual Studio Code 是微软提供的免费代码编辑器，支持 macOS，并为 Intel 与 Apple 芯片 Mac 提供适配版本。软件集代码编辑、调试、Git 源代码管理、集成终端和扩展市场于一体。
REAPER是Cockos开发的数字音频工作站，提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片，支持AU、VST、VST3、CLAP等插件格式，并提供高度可定制的工作流程。
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Pro Tools 是 Avid 推出的专业数字音频工作站，覆盖多轨录音、无损剪辑、MIDI 编曲、插件处理、自动化混音及声音与画面同步等工作。它拥有 Intro、Artist、Studio 和 Ultimate 等方案。
PixPix 是面向品牌、卖家和内容团队的在线 AI 图片视频创作平台，提供图视频 Agent、无限画布、图片生成、视频生成、自然语言编辑及商品套图、产品精修和带货视频等电商工具。
Postman 是面向 API 全生命周期的开发与协作平台。Windows 桌面版可用于构建和发送 HTTP、GraphQL、gRPC、WebSocket、MQTT 等请求，并提供环境变量、集合、脚本测试、模拟服务、监控、文档及团队工作区等
Docker Desktop 为 Windows 开发者提供集成式容器环境，内置 Docker Engine、命令行工具、Compose、Build 与 Kubernetes 等组件，可在本机完成镜像构建、容器运行、日志查看和资源管理。
Android Studio 是 Google 面向 Android 应用开发提供的官方集成开发环境，以 IntelliJ IDEA 为基础，集成智能代码编辑、Gradle 构建、设备模拟、界面预览、调试测试及性能分析工具，
WebStorm 是 JetBrains 面向 JavaScript、TypeScript 和现代 Web 技术打造的集成开发环境。它提供项目级代码分析、智能补全、安全重构、导航搜索，并集成调试、测试、终端、Git 与常用前端工具，
PhpStorm 是 JetBrains 面向 PHP 与现代 Web 开发打造的专业集成开发环境，提供代码补全、静态检查、重构、调试、测试、数据库、版本控制及前端语言支持。Windows 用户可直接下载安装程序，
PyCharm 是 JetBrains 推出的 Python 集成开发环境，提供智能代码补全、错误检查、重构、调试、测试、Git、终端及 Jupyter Notebook 支持。统一版安装后可体验 30 天 Pro 功能，
JetBrains IntelliJ IDEA 是以 Java、Kotlin 和 JVM 项目为核心的专业集成开发环境，提供智能补全、代码检查、安全重构、调试、测试、版本控制及构建工具集成。统一发行版的核心功能可免费用于商业和非商业项目，
Visual Studio Code 是微软推出的免费代码编辑器，Windows 版集成智能补全、代码导航、调试、终端和版本控制，并可通过扩展添加语言、格式化及远程开发能力。它启动较快、配置灵活，
REAPER 是 Cockos 推出的数字音频工作站，适用于录音、MIDI 编曲、音频编辑、混音、母带制作及声音设计。软件安装包小巧，支持多轨录制、灵活路由、自动化、第三方插件和脚本扩展，并提供完整功能的 60 天免费评估期。
Adobe Audition 是面向播客、影视后期、广播与音乐制作的专业音频工作站，提供波形编辑、多轨混音、频谱分析、录音、降噪修复和效果处理等功能。Windows 版通过 Adobe Creative Cloud 安装和管理，
Pro Tools 是 Avid 推出的专业数字音频工作站，提供多轨录音、音频剪辑、MIDI编曲、插件处理、自动化混音及影视声音制作能力。它适合音乐人、录音师、制作人和音频后期团队使用，并提供免费入门版、订阅方案及永久授权选择。