AlphaGo 作者带队，8 机械臂无碰撞协作新作登 Science 子刊
一群机械臂手忙脚乱地自己干活，彼此配合、互不碰撞。科幻大片场景真的走入现实了。优雅，实在是优雅。△视频中为4个机械臂，在仿真环境下4个安装在桌子上，另外4个安装在天花板上。这就是发表在Science子刊ScienceRobotics上，由DeepMind、IntrinsicAI和UCL等研究机构共同提出的最新成果——RoboBallet（机器芭蕾）。RoboBallet创新性地将图神经网络（GNN）用于强化学习，作为其策略网络和状态-动作价值估计，以解决多机器人（机械臂）
一群机械臂手忙脚乱地自己干活，彼此配合、互不碰撞。
科幻大片场景真的走入现实了。优雅，实在是优雅。
△视频中为 4 个机械臂，在仿真环境下 4 个安装在桌子上，另外 4 个安装在天花板上。
这就是发表在 Science 子刊Science Robotics上，由 DeepMind、Intrinsic AI 和 UCL 等研究机构共同提出的最新成果——RoboBallet（机器芭蕾）。
RoboBallet 创新性地将图神经网络（GNN）用于强化学习，作为其策略网络和状态 - 动作价值估计，以解决多机器人（机械臂）协作运动规划中的复杂问题。
这一方法最多可以同时控制8个机械臂，协调多达56个自由度的配置空间，并处理多达40个共享任务， 每一步规划仅需0.3毫秒，且任务分配和调度完全不受约束。
值得一提的是，这篇论文的通讯作者——Matthew Lai，可谓是谷歌 DeepMind 的资深研究员。自 2016 年加入谷歌 DeepMind 以来，他曾参与过AlphaGo、AlphaZero等明星项目。
总的来说，RoboBallet 的核心是把图神经网络与强化学习结合起来，采用图神经网络（GNN）作为策略网络和状态 - 动作价值估计，解决了大规模多机器人任务分配、调度和运动规划的联合问题，实现了在计算上高效、可扩展且能零样本泛化的高质量轨迹规划。
具体来说，在现代自动化制造中，核心挑战在于如何让多个机器人在共享的、充满障碍物的空间中无碰撞地高效协作，以完成大量任务（如焊接、装配等）。
这涉及到三个高度复杂的子问题：
任务分配（Task Allocation）：决定哪个机器人执行哪个任务，以最小化总执行时间。
任务调度（Task Scheduling）：决定任务的执行顺序。
运动规划（Motion Planning）：在关节空间中寻找一条无碰撞路径，使机器人末端执行器移动到目标姿态。
这三个子问题一组合，复杂度急剧增加，传统算法在真实场景中往往难以计算可行解，工业界目前主要依赖耗时且劳动密集的人工规划。
因此，为了应对这种高维复杂性，RoboBallet 就被用来在随机生成的环境中进行任务和运动规划，其能够为与训练期间所见环境不同的环境（具有任意障碍物几何形状、任务姿态和机器人位置）规划多臂抓取轨迹。
为了实现这一点，RoboBallet 在数据表示层面，创新性地将整个场景建模为图结构。
其中，图中的节点代表场景中的核心实体，包括机器人、任务和障碍物，而边（Edge）则表示这些实体之间的关系（例如，相对姿态）。
机器人节点之间存在双向边，以支持相互协调和避碰。而任务节点和障碍物节点到机器人节点则存在单向边，用于向机器人传递规划所需的环境信息（如图 c）
接下来，RoboBallet 使用图神经网络（GNN）作为策略网络，通过权重共享来处理不断变化的图大小。其以观测图作为输入，并在每个时间步为所有机器人生成指令关节速度。这使得机械臂能够在只接收原始状态作为输入的情况下，进行关系和组合推理。
而在具体的策略学习和评估阶段，RoboBallet 通过微调 TD3（Twin-Delayed Deep Deterministic Policy Gradient）算法来训练策略网络，使模型能够生成多机械臂轨迹，同时解决任务分配、调度和运动规划等子问题，使得昂贵的在线计算转移到了离线训练阶段。
（注：在此任务中，机械臂因成功解决任务和避免碰撞而获得奖励）
同时，为了解决稀疏奖励的问题，RoboBallet 还采用了Hindsight Experience Replay方法，使模型能够在没有人工设计的奖励函数的情况下高效学习。
在具体的部署方面，RoboBallet 使用Franka Panda的七自由度机械臂、在随机障碍物和任务的模拟环境进行训练。
为了验证性能，研究团队在一个包含 4（8）个机器人、40 个任务和 30 个障碍物的模拟工作单元中进行测试，并与 RRT-Connect 方法进行比较。值得一提的是，这一切都只需在一块 GPU（图形处理单元）上完成，无论是真实的还是模拟的多臂工作单元。
实验表明，RoboBallet 在多个关键指标上表现出色：
在训练时间的扩展性方面，即使任务数量增加四倍，RoboBallet 收敛所需的训练步数也只是略有增加。
在规划速度方面。实验表明，在推理阶段，即便是包含 8 个机器人和 40 个任务的最大场景，每个规划步在 NVIDIA A100 上只需约0.3 毫秒，能够实现10 Hz 时间步下超过 300 倍的实时规划速度。
在单个 Intel Cascade Lake CPU 核心上，每个步长大约需要 30 毫秒，在 10Hz 时间步下仍比实时快约 3 倍。每个规划步骤包括对整个场景进行一次推理和一次碰撞检测。
在多智能体协同方面，随着机器人数量从 4 个增加到 8 个 ，平均执行时间减少了约60%。
而在泛化性方面，模型在随机生成的环境中训练后，无需额外训练即可零样本迁移（zero-shot）到具有不同机器人位置、障碍物几何形状和任务姿态的新环境中。
最后，RoboBallet 的高速和可扩展性使其能够应用于工作单元布局优化（将任务执行时间缩短了 33%）、容错规划和基于在线感知的重新规划等新能力。
参考链接
[ 1 ] https://x.com/GoogleDeepMind/status/1965040645103407572
一键三连「点赞」「转发」「小心心」
欢迎在评论区留下你的想法！
— 完 —
专属 AI 产品从业者的实名社群，只聊 AI 产品最落地的真问题 扫码添加小助手，发送「姓名 + 公司 + 职位」申请入群～
进群后，你将直接获得：
最新最专业的 AI 产品信息及分析
不定期发放的热门产品内测码
内部专属内容与专业讨论
点亮星标
科技前沿进展每日见
Postman是一套面向API全生命周期的开发与测试平台，可在Mac上发送和调试多种协议请求，管理集合、环境及认证信息，并完成脚本测试、模拟服务、监控、文档发布和团队协作。它适合开发、测试及运维人员使用，提供个人免费方案。
Docker Desktop 是 Docker 官方为 Mac 提供的容器开发环境，集成 Docker Engine、命令行工具、Compose、Build、Kubernetes 与图形化管理界面。
Android Studio 是 Google 面向安卓应用开发提供的官方集成开发环境，基于 IntelliJ IDEA 构建。它整合智能代码编辑、Gradle 构建、界面预览、设备模拟、性能分析、调试测试及 APK 分析等工具。
Xcode 是苹果面向 Mac 提供的官方集成开发环境，将代码编辑、项目构建、SwiftUI 实时预览、设备模拟、自动化测试、断点调试、性能分析和应用分发整合在同一套工作流中，适合开发与维护 iPhone、iPad、Mac、Apple Wa
JetBrains WebStorm 是面向 JavaScript、TypeScript 和现代 Web 技术的专业集成开发环境，可智能理解项目结构，提供代码补全、重构、错误检查、运行调试、测试及 Git 工具。
PhpStorm 是 JetBrains 推出的专业 PHP 集成开发环境，可在 Mac 上完成代码编写、智能检查、重构、调试、测试和数据库管理。它支持主流 PHP 框架、Composer、Git、Docker 与远程解释器。
JetBrains PyCharm 是面向 Python 开发者的集成开发环境，提供智能补全、代码检查、重构、调试、测试、版本控制及虚拟环境管理功能。Mac 版兼容 Intel 与 Apple 芯片，核心功能可免费使用。
IntelliJ IDEA 是 JetBrains 推出的专业集成开发环境，重点服务于 Java、Kotlin 与 JVM 项目开发。软件集成代码补全、静态检查、重构、调试、测试、版本控制及构建工具，并可借助插件扩展语言和框架支持。
Visual Studio Code 是微软提供的免费代码编辑器，支持 macOS，并为 Intel 与 Apple 芯片 Mac 提供适配版本。软件集代码编辑、调试、Git 源代码管理、集成终端和扩展市场于一体。
REAPER是Cockos开发的数字音频工作站，提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片，支持AU、VST、VST3、CLAP等插件格式，并提供高度可定制的工作流程。
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Pro Tools 是 Avid 推出的专业数字音频工作站，覆盖多轨录音、无损剪辑、MIDI 编曲、插件处理、自动化混音及声音与画面同步等工作。它拥有 Intro、Artist、Studio 和 Ultimate 等方案。
PixPix 是面向品牌、卖家和内容团队的在线 AI 图片视频创作平台，提供图视频 Agent、无限画布、图片生成、视频生成、自然语言编辑及商品套图、产品精修和带货视频等电商工具。
Postman 是面向 API 全生命周期的开发与协作平台。Windows 桌面版可用于构建和发送 HTTP、GraphQL、gRPC、WebSocket、MQTT 等请求，并提供环境变量、集合、脚本测试、模拟服务、监控、文档及团队工作区等
Docker Desktop 为 Windows 开发者提供集成式容器环境，内置 Docker Engine、命令行工具、Compose、Build 与 Kubernetes 等组件，可在本机完成镜像构建、容器运行、日志查看和资源管理。
Android Studio 是 Google 面向 Android 应用开发提供的官方集成开发环境，以 IntelliJ IDEA 为基础，集成智能代码编辑、Gradle 构建、设备模拟、界面预览、调试测试及性能分析工具，
WebStorm 是 JetBrains 面向 JavaScript、TypeScript 和现代 Web 技术打造的集成开发环境。它提供项目级代码分析、智能补全、安全重构、导航搜索，并集成调试、测试、终端、Git 与常用前端工具，
PhpStorm 是 JetBrains 面向 PHP 与现代 Web 开发打造的专业集成开发环境，提供代码补全、静态检查、重构、调试、测试、数据库、版本控制及前端语言支持。Windows 用户可直接下载安装程序，
PyCharm 是 JetBrains 推出的 Python 集成开发环境，提供智能代码补全、错误检查、重构、调试、测试、Git、终端及 Jupyter Notebook 支持。统一版安装后可体验 30 天 Pro 功能，
JetBrains IntelliJ IDEA 是以 Java、Kotlin 和 JVM 项目为核心的专业集成开发环境，提供智能补全、代码检查、安全重构、调试、测试、版本控制及构建工具集成。统一发行版的核心功能可免费用于商业和非商业项目，
Visual Studio Code 是微软推出的免费代码编辑器，Windows 版集成智能补全、代码导航、调试、终端和版本控制，并可通过扩展添加语言、格式化及远程开发能力。它启动较快、配置灵活，
REAPER 是 Cockos 推出的数字音频工作站，适用于录音、MIDI 编曲、音频编辑、混音、母带制作及声音设计。软件安装包小巧，支持多轨录制、灵活路由、自动化、第三方插件和脚本扩展，并提供完整功能的 60 天免费评估期。
Adobe Audition 是面向播客、影视后期、广播与音乐制作的专业音频工作站，提供波形编辑、多轨混音、频谱分析、录音、降噪修复和效果处理等功能。Windows 版通过 Adobe Creative Cloud 安装和管理，
Pro Tools 是 Avid 推出的专业数字音频工作站，提供多轨录音、音频剪辑、MIDI编曲、插件处理、自动化混音及影视声音制作能力。它适合音乐人、录音师、制作人和音频后期团队使用，并提供免费入门版、订阅方案及永久授权选择。