机器人学会转笔、盘核桃了！GPT-4加持，任务越复杂，表现越优秀
大数据文摘出品家人们，继人工智能（AI）攻占象棋、围棋、Dota之后，转笔这一技能也被AI机器人学会了。上面这个笔转的贼溜的机器人，得益于名叫Eureka的智能体（Agent），是来自英伟达、宾夕法尼亚大学、加州理工学院和得克萨斯大学奥斯汀分校的一项研究。得Eureka“指点”后的机器人还可以打开抽屉和柜子、扔球和接球，或者使用剪刀。据英伟达介绍，Eureka有10种不同的类型，可执行29种不同的任务。要知道在之前，单就转笔这一功能，仅靠人类专家手工编程，是无法如此顺滑的实现的。机器人盘核桃而Eureka
大数据文摘出品
家人们，继人工智能（AI）攻占象棋、围棋、Dota之后，转笔这一技能也被 AI 机器人学会了。
上面这个笔转的贼溜的机器人，得益于名叫Eureka的智能体（Agent），是来自英伟达、宾夕法尼亚大学、加州理工学院和得克萨斯大学奥斯汀分校的一项研究。
得Eureka“指点”后的机器人还可以打开抽屉和柜子、扔球和接球，或者使用剪刀。据英伟达介绍，Eureka有10种不同的类型，可执行29种不同的任务。
要知道在之前，单就转笔这一功能，仅靠人类专家手工编程，是无法如此顺滑的实现的。
机器人盘核桃
而Eureka 能够自主编写奖励算法来训练机器人，且码力强劲：自编的奖励程序在 83% 的任务中超越了人类专家，能使机器人的性能平均提升52%。
Eureka开创了一种从人类反馈中无梯度学习的新途径，它能够轻松吸收人类提供的奖励和文字反馈，从而进一步完善自己的奖励生成机制。
具体而言，Eureka 利用了 OpenAI 的 GPT-4 来编写用于机器人的试错学习的奖励程序。这意味着该系统并不依赖于人类特定任务的提示或预设的奖励模式。
Eureka 通过在 Isaac Gym 中使用 GPU 加速的仿真，能够快速评估大量候选奖励的优劣，从而实现更有效率的训练。接着，Eureka 会生成训练结果的关键统计信息摘要，并指导 LLM（Language Model，语言模型）改进奖励函数的生成。通过这种方式，AI 智能体能够独立地改善对机器人的指令。
Eureka的框架
研究人员还发现，任务越复杂，GPT-4 的指令就越能优于所谓的"奖励工程师"的人类指令。参与该研究的研究员甚至称 Eureka 为“超人类奖励工程师”。
Eureka 成功地弥补了高层推理（编码）和低层运动控制之间的鸿沟。其采用了一种被称为 "混合梯度架构"：一个纯推理的黑盒子 LLM（Language Model，语言模型）引导一个可学习的神经网络。在这个架构中，外层循环运行 GPT-4 来优化奖励函数（无梯度），而内层循环则运行强化学习以训练机器人的控制器（基于梯度）。
——NVIDIA的高级研究科学家Linxi "Jim" Fan
Eureka 可以整合人类的反馈，以便更好地调整奖励，使其更符合开发者的期望。Nvidia 把这个过程称为"in-context RLHF"（从人类反馈中进行上下文学习）
值得注意的是，Nvidia 的研究团队已经开源了 Eureka 的 AI 算法库。这将使得个人和机构能够通过 Nvidia Isaac Gym 来探索和实验这些算法。Isaac Gym 是建立在 Nvidia Omniverse 平台上的，这是一个基于 Open USD 框架用于创建 3D 工具和应用程序的开发框架。
- 论文链接：https://arxiv.org/pdf/2310.12931.pdf
- 项目链接：https://eureka-research.github.io/
- 代码链接：https://github.com/eureka-research/Eureka
如何评价？
在过去的十年中，强化学习取得了巨大的成功，但我们必须承认其中仍存在持续的挑战。之前虽然有尝试引入类似的技术，但与使用语言模型（LLM）来辅助奖励设计的 L2R（Learning to Reward）相比，Eureka 更为突出，因为它消除了特定任务提示的需要。Eureka 之所以能比 L2R 更出色，是因为它能够创建自由表达的奖励算法，并利用环境源代码作为背景信息。
英伟达的研究团队进行了一项调查，以探索在使用人类奖励函数启动时，是否能提供一些优势。实验的目的是想看看是否你们能顺利地用初始 Eureka 迭代的输出替代原始的人类奖励函数。
在测试中，英伟达的研究团队在每个任务的情境下，使用相同的强化学习算法和相同的超参数对所有最终奖励函数进行了优化。为了测试这些特定任务的超参数是否经过良好调整以确保人工设计的奖励的有效性，他们采用了经过充分调整的近端策略优化（PPO）实现，这个实现基于之前的工作，没有进行任何修改。对于每个奖励，研究人员进行了五次独立的 PPO 训练运行，并报告了策略检查点达到的最大任务指标值的平均值，作为奖励性能的度量。
结果显示：人类设计者通常对相关状态变量有很好的理解，但在设计有效奖励方面可能缺乏一定的熟练度。
Nvidia 的这项开创性研究在强化学习和奖励设计领域开辟了新的疆界。他们的通用奖励设计算法 Eureka 利用了大型语言模型和上下文进化搜索的力量，能够在广泛的机器人任务领域生成人类水平的奖励，而无需特定任务提示或人工干预，这在很大程度上改变了我们对 AI 和机器学习的理解。
Postman是一套面向API全生命周期的开发与测试平台，可在Mac上发送和调试多种协议请求，管理集合、环境及认证信息，并完成脚本测试、模拟服务、监控、文档发布和团队协作。它适合开发、测试及运维人员使用，提供个人免费方案。
Docker Desktop 是 Docker 官方为 Mac 提供的容器开发环境，集成 Docker Engine、命令行工具、Compose、Build、Kubernetes 与图形化管理界面。
Android Studio 是 Google 面向安卓应用开发提供的官方集成开发环境，基于 IntelliJ IDEA 构建。它整合智能代码编辑、Gradle 构建、界面预览、设备模拟、性能分析、调试测试及 APK 分析等工具。
Xcode 是苹果面向 Mac 提供的官方集成开发环境，将代码编辑、项目构建、SwiftUI 实时预览、设备模拟、自动化测试、断点调试、性能分析和应用分发整合在同一套工作流中，适合开发与维护 iPhone、iPad、Mac、Apple Wa
JetBrains WebStorm 是面向 JavaScript、TypeScript 和现代 Web 技术的专业集成开发环境，可智能理解项目结构，提供代码补全、重构、错误检查、运行调试、测试及 Git 工具。
PhpStorm 是 JetBrains 推出的专业 PHP 集成开发环境，可在 Mac 上完成代码编写、智能检查、重构、调试、测试和数据库管理。它支持主流 PHP 框架、Composer、Git、Docker 与远程解释器。
JetBrains PyCharm 是面向 Python 开发者的集成开发环境，提供智能补全、代码检查、重构、调试、测试、版本控制及虚拟环境管理功能。Mac 版兼容 Intel 与 Apple 芯片，核心功能可免费使用。
IntelliJ IDEA 是 JetBrains 推出的专业集成开发环境，重点服务于 Java、Kotlin 与 JVM 项目开发。软件集成代码补全、静态检查、重构、调试、测试、版本控制及构建工具，并可借助插件扩展语言和框架支持。
Visual Studio Code 是微软提供的免费代码编辑器，支持 macOS，并为 Intel 与 Apple 芯片 Mac 提供适配版本。软件集代码编辑、调试、Git 源代码管理、集成终端和扩展市场于一体。
REAPER是Cockos开发的数字音频工作站，提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片，支持AU、VST、VST3、CLAP等插件格式，并提供高度可定制的工作流程。
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Pro Tools 是 Avid 推出的专业数字音频工作站，覆盖多轨录音、无损剪辑、MIDI 编曲、插件处理、自动化混音及声音与画面同步等工作。它拥有 Intro、Artist、Studio 和 Ultimate 等方案。
Postman 是面向 API 全生命周期的开发与协作平台。Windows 桌面版可用于构建和发送 HTTP、GraphQL、gRPC、WebSocket、MQTT 等请求，并提供环境变量、集合、脚本测试、模拟服务、监控、文档及团队工作区等
Docker Desktop 为 Windows 开发者提供集成式容器环境，内置 Docker Engine、命令行工具、Compose、Build 与 Kubernetes 等组件，可在本机完成镜像构建、容器运行、日志查看和资源管理。
Android Studio 是 Google 面向 Android 应用开发提供的官方集成开发环境，以 IntelliJ IDEA 为基础，集成智能代码编辑、Gradle 构建、设备模拟、界面预览、调试测试及性能分析工具，
WebStorm 是 JetBrains 面向 JavaScript、TypeScript 和现代 Web 技术打造的集成开发环境。它提供项目级代码分析、智能补全、安全重构、导航搜索，并集成调试、测试、终端、Git 与常用前端工具，
PhpStorm 是 JetBrains 面向 PHP 与现代 Web 开发打造的专业集成开发环境，提供代码补全、静态检查、重构、调试、测试、数据库、版本控制及前端语言支持。Windows 用户可直接下载安装程序，
PyCharm 是 JetBrains 推出的 Python 集成开发环境，提供智能代码补全、错误检查、重构、调试、测试、Git、终端及 Jupyter Notebook 支持。统一版安装后可体验 30 天 Pro 功能，
JetBrains IntelliJ IDEA 是以 Java、Kotlin 和 JVM 项目为核心的专业集成开发环境，提供智能补全、代码检查、安全重构、调试、测试、版本控制及构建工具集成。统一发行版的核心功能可免费用于商业和非商业项目，
Visual Studio Code 是微软推出的免费代码编辑器，Windows 版集成智能补全、代码导航、调试、终端和版本控制，并可通过扩展添加语言、格式化及远程开发能力。它启动较快、配置灵活，
REAPER 是 Cockos 推出的数字音频工作站，适用于录音、MIDI 编曲、音频编辑、混音、母带制作及声音设计。软件安装包小巧，支持多轨录制、灵活路由、自动化、第三方插件和脚本扩展，并提供完整功能的 60 天免费评估期。
Adobe Audition 是面向播客、影视后期、广播与音乐制作的专业音频工作站，提供波形编辑、多轨混音、频谱分析、录音、降噪修复和效果处理等功能。Windows 版通过 Adobe Creative Cloud 安装和管理，
Pro Tools 是 Avid 推出的专业数字音频工作站，提供多轨录音、音频剪辑、MIDI编曲、插件处理、自动化混音及影视声音制作能力。它适合音乐人、录音师、制作人和音频后期团队使用，并提供免费入门版、订阅方案及永久授权选择。
Cubase 是 Steinberg 推出的数字音频工作站，提供 MIDI 编曲、多轨录音、音频编辑、虚拟乐器、效果处理、自动化、混音和母带输出工具。其 Pro、Artist 与 Elements 版本面向不同预算和制作规模，