GPT-4数学能力大蹦极！OpenAI爆火研究「过程监督」突破78.2%难题，干掉幻觉
ChatGPT自发布以来，数学能力饱受诟病。就连「数学天才」陶哲轩曾表示，GPT-4在自己的数学专业领域，并没有太多的增值。怎么办，就一直让ChatGPT做个「数学智障」么？OpenAI在努力——为了提升GPT-4的数学推理能力，OpenAI团队用「过程监督」（PRM）训练模型。让我们一步一步验证！论文地址：https://cdn.openai.com/improving-mathematical-reasoning-with-process-supervision/Lets_Verify_Step_by
ChatGPT自发布以来，数学能力饱受诟病。
就连「数学天才」陶哲轩曾表示，GPT-4在自己的数学专业领域，并没有太多的增值。
怎么办，就一直让ChatGPT做个「数学智障」么？
OpenAI在努力——为了提升GPT-4的数学推理能力，OpenAI团队用「过程监督」（PRM）训练模型。
让我们一步一步验证！
论文地址：https://cdn.openai.com/improving-mathematical-reasoning-with-process-supervision/Lets_Verify_Step_by_Step.pdf
论文中，研究人员训练模型通过奖励每一个正确的推理步骤，即「过程监督」，而不仅仅是奖励正确的最终结果（结果监督），在数学问题解决方面取得最新SOTA。
具体来讲， PRM解决了MATH测试集代表性子集中78.2%的问题。
此外，OpenAI发现「过程监督」在对齐上有很大的价值——训练模型产生人类认可的思维链。
最新研究当然少不了Sam Altman的转发，「我们的Mathgen团队在过程监督上取得了非常令人振奋的结果，这是对齐的积极信号。」
在实践中，「过程监督」因为需要人工反馈，对于大模型和各种任务来说成本都极其高昂。因此，这项工作意义重大，可以说能够确定OpenAI未来的研究方向。
解决数学问题
实验中，研究人员用MATH数据集中的问题，来评估「过程监督」和「结果监督」的奖励模型。
让模型为每个问题生成许多解决方案，然后挑选每个奖励模型排名最高的解决方案。
如图显示了所选解决方案中，取得正确最终答案的百分比，作为所考虑解决方案数量的函数。
「过程监督」奖励模型不仅在整体上表现更好，而且随着考虑每个问题的更多解决方案，性能差距也在扩大。
这表明，「过程监督」奖励模型更加可靠。
如下，OpenAI展示了模型的10个数学问题和解决方案，以及对奖励模型优缺点的评论。
从以下三类指标，真正（TP）、真负（TN）、假正（FP），对模型进行了评估。
真正（TP）
先来简化个三角函数公式。
这个具有挑战性的三角函数问题，需要以一种不明显的顺序应用几个恒等式。
但是大多数解决尝试都失败了，因为很难选择哪些恒等式实际上是有用的。
虽然GPT-4通常不能解决这个问题，只有0.1%的解决方案尝试实现正确答案，但奖励模型正确地识别出这个解决方案是有效的。
这里，GPT-4成功地执行了一系列复杂的多项式因式分解。
在步骤5中使用Sophie-Germain恒等式是一个重要的步骤。可见，这一步骤很有洞察力。
在步骤7和8中，GPT-4开始执行猜测和检查。
这是该模型可能产生「幻觉」的常见地方，它会声称某个特定的猜测是成功的。在这种情况下，奖励模型验证每一步，并确定思维链是正确的。
模型成功地应用了几个三角恒等式以简化表达式。
真负（TN）
在步骤7中，GPT-4试图简化一个表达式，但尝试失败。奖励模型发现了这个错误。
在步骤11中，GPT-4犯了一个简单的计算错误。同样被奖励模型发现。
GPT-4在步骤12中尝试使用差平方公式，但这个表达式实际上并非差平方。
步骤8的理由很奇怪，但奖励模型让它通过了。然而，在步骤9中，模型错误地将表达式分解出因子。
奖励模型便纠出这个错误。
假正（FP）
在步骤4中，GPT-4错误地声称「序列每12项重复一次」，但实际上每10项重复一次。这种计数错误偶尔会欺骗奖励模型。
步骤13中，GPT-4试图通过合并类似的项来简化方程。它正确地将线性项移动并组合到左边，但错误地保持右边不变。奖励模型被这个错误所欺骗。
GPT-4尝试进行长除法，但在步骤16中，它忘记在小数的重复部分包括前面的零。奖励模型被这个错误所欺骗。
GPT-4在步骤9中犯了一个微妙的计数错误。
表面上，声称有5种方法可以交换同色的球（因为有5种颜色）似乎是合理的。
然而，这个计数低估了2倍，因为Bob有2个选择，即决定把哪个球给Alice。奖励模型被这个错误所欺骗。
过程监督
虽然大语言模型在复杂推理能力方面有了很大的提升，但即便是最先进的模型仍然会产生逻辑错误，或胡说八道，也就是人们常说的「幻觉」。
在生成式人工智能的热潮中，大语言模型的幻觉一直让人们苦恼不已。
马斯克说，我们需要的是TruthGPT
比如最近，一位美国律师在纽约联邦法院的文件中就引用了ChatGPT捏造出的案件，可能面临制裁。
OpenAI的研究者在报告中提到：“在需要多步骤推理的领域，这些幻觉尤其成问题，因为，一个简单的逻辑错误，就足以对整个解决方案造成极大的破坏。”
而且，减轻幻觉，也是构建一致AGI的关键。
怎么减少大模型的幻觉呢？一般有两种方法——过程监督和结果监督。
「结果监督」，顾名思义，就是根据最终结果给大模型反馈，而「过程监督」则可以针对思维链中的每个步骤提供反馈。
在过程监督中，会奖励大模型正确的推理步骤，而不仅仅是奖励它们正确的最终结论。这个过程，会鼓励模型遵循更多类似人类的思维方法链，因而也就更可能造就更好的可解释AI。
OpenAI的研究者表示，虽然过程监督并不是OpenAI发明的，但OpenAI正在努力推动它向前发展。
最新研究中， OpenAI把「结果监督」或「过程监督」两种方法都试了一遍。并使用MATH数据集作为测试平台，并对这两种方法进行了详细比较。
结果发现，「过程监督」能够明显提高模型性能。
对于数学任务，「过程监督」对大模型和小模型都产生了明显更好的结果，这意味着模型通常是正确的，并且还表现出了更像人类的思维过程。
这样，即使在最强大的模型中也很难避免的幻觉或逻辑错误，就可以减少了。
对齐优势明显
研究人员发现了「过程监督」比「结果监督」有几个对齐优势：
· 直接奖励遵循一致的思维链模型，因为过程中的每个步骤都受到精确的监督。
· 更有可能产生可解释的推理，因为「过程监督」鼓励模型遵循人类认可的过程。相比之下，结果监督可能会奖励一个不一致的过程，而且通常更难审查。
另外值得一提的是，在某些情况下，让AI系统更安全的方法可能会导致性能下降。这种成本被称为「对齐税」（alignment tax）。
一般来说，为了部署最有能力的模型，任何「对齐税」成本都可能阻碍对齐方法的采用。
但是，研究人员如下的结果表明，「过程监督」在数学领域测试过程中实际上会产生「负对齐税」。
可以说，没有因为对齐造成较大性能损耗。
OpenAI发布80万人工标注数据集
值得注意的是，PRM需要更多的人类标注，还是深深离不开RLHF。
过程监督在数学以外的领域，具有多大的适用性呢？这个过程需要进一步探索。
OpenAI研究人员开放了这次人类反馈数据集PRM，包含800,000个步骤级正确标注：12K数学问题生成的75K解决方案
如下是一个标注的示例。OpenAI正在发布原始标注，以及在项目第1阶段和第2阶段给标注者的指示。
网友热评
英伟达科学家Jim Fan对OpenAI最新研究做了一个总结：
对于具有挑战性的分步问题，在每一步都给予奖励，而不是在最后给予单一的奖励。基本上，密集奖励信号>稀疏奖励信号。 过程奖励模型（PRM）能够比结果奖励模型（ORM）更好为困难的MATH基准挑选解决方案。下一步显然是用PRM对GPT-4进行微调，而本文还没有这样做。 需要注意的是，PRM需要更多的人类标注。OpenAI发布了人类反馈数据集：在12K数学问题的75K解决方案中的800K步骤级标注。
这就像上学时常说的一句老话，学会如何去思考。
训练模型去思考，而不仅是输出正确的答案，将会成为解决复杂问题的game changer。
ChatGPT在数学方面超级弱。今天我试图解决一个四年级数学书上的数学问题。ChatGPT给了错误答案。我把我的答案和ChatGPT的答案，在perplexity AI、谷歌的答案，以及四年级的老师进行了核对。每个地方都可以确认，chatgpt的答案是错误的。
参考资料：https://openai.com/research/improving-mathematical-reasoning-with-process-supervision
Postman是一套面向API全生命周期的开发与测试平台，可在Mac上发送和调试多种协议请求，管理集合、环境及认证信息，并完成脚本测试、模拟服务、监控、文档发布和团队协作。它适合开发、测试及运维人员使用，提供个人免费方案。
Docker Desktop 是 Docker 官方为 Mac 提供的容器开发环境，集成 Docker Engine、命令行工具、Compose、Build、Kubernetes 与图形化管理界面。
Android Studio 是 Google 面向安卓应用开发提供的官方集成开发环境，基于 IntelliJ IDEA 构建。它整合智能代码编辑、Gradle 构建、界面预览、设备模拟、性能分析、调试测试及 APK 分析等工具。
Xcode 是苹果面向 Mac 提供的官方集成开发环境，将代码编辑、项目构建、SwiftUI 实时预览、设备模拟、自动化测试、断点调试、性能分析和应用分发整合在同一套工作流中，适合开发与维护 iPhone、iPad、Mac、Apple Wa
JetBrains WebStorm 是面向 JavaScript、TypeScript 和现代 Web 技术的专业集成开发环境，可智能理解项目结构，提供代码补全、重构、错误检查、运行调试、测试及 Git 工具。
PhpStorm 是 JetBrains 推出的专业 PHP 集成开发环境，可在 Mac 上完成代码编写、智能检查、重构、调试、测试和数据库管理。它支持主流 PHP 框架、Composer、Git、Docker 与远程解释器。
JetBrains PyCharm 是面向 Python 开发者的集成开发环境，提供智能补全、代码检查、重构、调试、测试、版本控制及虚拟环境管理功能。Mac 版兼容 Intel 与 Apple 芯片，核心功能可免费使用。
IntelliJ IDEA 是 JetBrains 推出的专业集成开发环境，重点服务于 Java、Kotlin 与 JVM 项目开发。软件集成代码补全、静态检查、重构、调试、测试、版本控制及构建工具，并可借助插件扩展语言和框架支持。
Visual Studio Code 是微软提供的免费代码编辑器，支持 macOS，并为 Intel 与 Apple 芯片 Mac 提供适配版本。软件集代码编辑、调试、Git 源代码管理、集成终端和扩展市场于一体。
REAPER是Cockos开发的数字音频工作站，提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片，支持AU、VST、VST3、CLAP等插件格式，并提供高度可定制的工作流程。
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Pro Tools 是 Avid 推出的专业数字音频工作站，覆盖多轨录音、无损剪辑、MIDI 编曲、插件处理、自动化混音及声音与画面同步等工作。它拥有 Intro、Artist、Studio 和 Ultimate 等方案。
PixPix 是面向品牌、卖家和内容团队的在线 AI 图片视频创作平台，提供图视频 Agent、无限画布、图片生成、视频生成、自然语言编辑及商品套图、产品精修和带货视频等电商工具。
Postman 是面向 API 全生命周期的开发与协作平台。Windows 桌面版可用于构建和发送 HTTP、GraphQL、gRPC、WebSocket、MQTT 等请求，并提供环境变量、集合、脚本测试、模拟服务、监控、文档及团队工作区等
Docker Desktop 为 Windows 开发者提供集成式容器环境，内置 Docker Engine、命令行工具、Compose、Build 与 Kubernetes 等组件，可在本机完成镜像构建、容器运行、日志查看和资源管理。
Android Studio 是 Google 面向 Android 应用开发提供的官方集成开发环境，以 IntelliJ IDEA 为基础，集成智能代码编辑、Gradle 构建、设备模拟、界面预览、调试测试及性能分析工具，
WebStorm 是 JetBrains 面向 JavaScript、TypeScript 和现代 Web 技术打造的集成开发环境。它提供项目级代码分析、智能补全、安全重构、导航搜索，并集成调试、测试、终端、Git 与常用前端工具，
PhpStorm 是 JetBrains 面向 PHP 与现代 Web 开发打造的专业集成开发环境，提供代码补全、静态检查、重构、调试、测试、数据库、版本控制及前端语言支持。Windows 用户可直接下载安装程序，
PyCharm 是 JetBrains 推出的 Python 集成开发环境，提供智能代码补全、错误检查、重构、调试、测试、Git、终端及 Jupyter Notebook 支持。统一版安装后可体验 30 天 Pro 功能，
JetBrains IntelliJ IDEA 是以 Java、Kotlin 和 JVM 项目为核心的专业集成开发环境，提供智能补全、代码检查、安全重构、调试、测试、版本控制及构建工具集成。统一发行版的核心功能可免费用于商业和非商业项目，
Visual Studio Code 是微软推出的免费代码编辑器，Windows 版集成智能补全、代码导航、调试、终端和版本控制，并可通过扩展添加语言、格式化及远程开发能力。它启动较快、配置灵活，
REAPER 是 Cockos 推出的数字音频工作站，适用于录音、MIDI 编曲、音频编辑、混音、母带制作及声音设计。软件安装包小巧，支持多轨录制、灵活路由、自动化、第三方插件和脚本扩展，并提供完整功能的 60 天免费评估期。
Adobe Audition 是面向播客、影视后期、广播与音乐制作的专业音频工作站，提供波形编辑、多轨混音、频谱分析、录音、降噪修复和效果处理等功能。Windows 版通过 Adobe Creative Cloud 安装和管理，
Pro Tools 是 Avid 推出的专业数字音频工作站，提供多轨录音、音频剪辑、MIDI编曲、插件处理、自动化混音及影视声音制作能力。它适合音乐人、录音师、制作人和音频后期团队使用，并提供免费入门版、订阅方案及永久授权选择。