人形机器人首打通视觉与运动，UC 博士让宇树 G1 现场演示
不用提前熟悉环境，一声令下，就能让宇树机器人坐在椅子上、桌子上、箱子上！还能直接解锁"跨过箱子"、"敲门"等任务~这是来自UC伯克利、卡内基梅隆大学等团队的最新研究成果LeVERB框架——基于模拟数据训练实现零样本部署，让人形机器人通过感知新环境，理解语言指令就能直接完成全身动作。传统人形机器人要么"能看懂指令却动不了"（缺乏全身控制能力），要么"只能机械执行动作却读不懂环境"（依赖人工预设动作库）。LeVERB首次打通了视觉语义理解与物理运动两者之间的断层，让机器人能像
不用提前熟悉环境，一声令下，就能让宇树机器人坐在椅子上、桌子上、箱子上！
还能直接解锁 " 跨过箱子 "、" 敲门 " 等任务 ~
这是来自 UC 伯克利、卡内基梅隆大学等团队的最新研究成果LeVERB 框架——
基于模拟数据训练实现零样本部署，让人形机器人通过感知新环境，理解语言指令就能直接完成全身动作。
传统人形机器人要么 " 能看懂指令却动不了 "（缺乏全身控制能力），要么 " 只能机械执行动作却读不懂环境 "（依赖人工预设动作库）。
LeVERB 首次打通了视觉语义理解与物理运动两者之间的断层，让机器人能像人类一样从 " 想 " 到 " 做 "，自动感知环境，直接遵循指令完成动作。
上面展示的 " 坐下 " 动作就是通过 " 相机感知环境 +' 坐在 [ 椅子 / 盒子 / 桌子 ] 上 ' 指令 " 完成的：
团队还推出了配套基准：LeVERB-Bench。
这是首个面向人形机器人 WBC（全身控制）的 " 仿真到真实 " 视觉 - 语言闭环基准，包含 10 类超 150 个任务。
团队将该框架部署在宇树 G1 机器人上进行基准测试，结果显示：
在简单视觉导航任务中零样本成功率达 80%，整体任务成功率58.5%，比朴素分层 VLA（视觉 - 语言 - 动作）方案的性能强 7.8 倍。
目前，LeVERB-Bench 数据集已在 LeRobot 格式中开源，项目的完整代码也即将发布。
双层系统实现从 " 想 " 到 " 做 " 的全身动作
多数视觉 - 语言 - 动作（VLA）模型在控制机器人时，依赖手工设计的底层动作 " 词汇 "（如末端执行器姿势、根部速度等）。
这使得它们只能处理准静态任务，无法应对人形机器人全身控制（WBC）所需的灵活全身动作。
简单来说，以前的机器人要么高层直接控制细节（就像大脑同时管走路和思考，效率低），要么底层不懂语义（就像四肢只听简单命令，复杂任务做不了）。
而人形机器人是高维非线性动态系统，需要高频控制与低频规划结合，传统方法缺乏对视觉和语言语义的有效整合。
于是，团队提出将高层的视觉 - 语言指令压缩映射为一个动作向量，也就是一个抽象指令，这种指令能够被底层的动作模块识别并执行。
在 LeVERB 框架中，这个抽象指令被称为" 潜在动作词汇 "。
LeVERB 框架由分层双系统组成，这两层系统以 " 潜在动作词汇 " 作为接口。
该方法的最终目标是使两层的 " 潜在动作词汇 " 保持一致，让高层专注 " 理解任务 "，底层专注 " 做好动作 "，各取所长。
LeVERB 框架
高层LeVERB-VL（想）：一个基于 Transformer 的 102.6M 视觉语言主干，将语言指令和视觉上下文转换为潜在动词，运行频率 10Hz。
LeVERB-VL 负责理解 " 看到的东西 " 和 " 听到的话 "。比如看到 " 去坐蓝色椅子 "，它会先分析 " 蓝色椅子在哪 "" 怎么过去 "，但不直接控制动作细节，而是把想法转化成一种 " 抽象指令 "。
它通过 VLA 先验模块、运动学编码器、残差潜在空间、运动学解码器和判别器等组件，将视觉和语言输入映射到平滑规则的潜在词汇空间，为运动控制生成潜在动作计划。
训练时，通过轨迹重建、分布对齐和对抗分类三部分优化模型，同时采用数据混合策略增强数据多样性，并对超参数进行精细设置，以实现对视觉 - 语言信息的高效处理和准确决策 。
底层LeVERB-A（做）：一个基于 Transformer 的 1.1M 全身动作专家，利用强化学习训练的 WBC 策略，接收高层的潜在动作指令，将潜在动词解码为动力学级的人形动作输出，运行频率 50Hz。
这部分作用是将 LeVERB-VL 生成的潜在指令转化为机器人可执行的动力学级动作。
训练时，先通过近端策略优化算法训练与视觉 - 语言无关的教师策略，再使用 DAgger 算法和 Huber 损失函数将教师策略的动作蒸馏到以潜在命令为条件的学生策略（即 LeVERB-A）中。
运行时，LeVERB-A 接收本体感受信息和潜在向量，采用 Transformer 架构输出经重新参数化的扭矩级关节位置动作指令，并在机器人板载 CPU 上用 C++ 实现实时推理，完成人形机器人的全身控制 。
LeVERB-Bench
无法衡量就无法展开下一步工作，团队还专门提出了一个人形机器人视觉 - 语言全身控制（WBC）任务的配套基准 LeVERB-Bench。
在人形机器人 WBC 领域，用于训练 VLA 模型的演示数据稀缺。现有基准存在诸多问题，如仅关注 locomotion、在状态空间中无视觉、渲染不真实导致仿真与现实差距大等，无法满足研究需求。
LeVERB-Bench 在仿真中重放重定向的动作捕捉（MoCap）运动，收集逼真的轨迹数据。这种方式无需在数据收集时进行可靠的动态控制，运动学姿势能提供任务级语义，还支持使用互联网视频等来源的重定向人形数据。
采用 IsaacSim 中的光线追踪渲染技术，能更准确地模拟场景光照和阴影，减轻以往合成数据中因光照不真实导致的仿真与现实差距问题。
通过程序生成管道，对每个轨迹进行缩放和随机化处理，随机化场景背景、物体属性、任务设置、相机视图，并对部分演示进行镜像，以确保数据的多样性和语义丰富性。
手动或使用 VLM 为数据标注以自我为中心的文本命令。同时，利用 VLM 为仅包含运动的对标注文本指令，增加仅语言数据，扩大数据覆盖范围。
LeVERB-Bench 包含多种任务类别，如导航（Navigation）、走向目标（Towards）、绕物体移动（Around）、移动（Locomotion）、坐下（Sitting）、伸手够物（Reaching）等。
从视觉 - 语言任务和仅语言任务两个维度进行分类，共涵盖 154 个视觉 - 语言任务轨迹和 460 个仅语言任务轨迹，每个轨迹经过多次随机化后生成大量演示数据。
通过 154 条轨迹，每条随机化 100 次，生成了 17.1 小时的逼真运动轨迹数据。此外，还增加了 2.7 小时的仅语言数据，覆盖 500 条不同轨迹，进一步丰富了数据集。
在评估时，会在 20 个随机环境中进行，每个任务类别的场景纹理和物体属性完全随机化且在训练数据中未出现过，同时对第三人称相机角度进行局部随机化，确保评估任务在视觉上未在训练集中出现，以此检验模型的泛化能力。
实验结果
团队将 LeVERB 框架部署在 Unitree G1 机器人上，测试其在真实场景中的零样本闭环控制能力，让机器人执行如 " 走向椅子坐下 " 等任务。验证了 LeVERB 从仿真到真实的迁移能力，证明该框架在实际应用中的可行性。
通过在 LeVERB-Bench 基准上评估，LeVERB 框架表现出色，简单视觉导航任务零样本成功率达 80%，整体任务成功率为 58.5% ，比朴素分层 VLA 方案高出 7.8 倍。这表明 LeVERB 能有效处理复杂视觉 - 语言任务，在不同场景下具备良好的泛化能力。
还对 LeVERB 框架的关键组件进行消融实验，探究各组件对性能的影响，例如去掉判别器（ND）、运动学编码器（NE）等组件进行测试。
去掉判别器（ND）会导致性能显著下降，表明其在对齐潜在空间、增强模型泛化能力方面的重要性；去掉运动学编码器（NE）也会使性能降低，证明运动学编码器对补充运动细节信息的必要性。
团队成员半数为华人
LeVERB 团队有半数成员是来自 UC 伯克利、卡内基梅隆大学（CMU）等的华人学者。
该项目的主要负责人薛浩儒硕士毕业于卡内基梅隆大学（CMU），现于 UC 伯克利攻读博士学位。
他曾在 MPC Lab、LeCAR 实验室实验室进行机器人研究，现在 NVIDIA GEAR 实验室实习。
2021 年至 2024 年，他领导了 AI Racing Tech 项目——一个价值数百万美元的自动驾驶赛车研究项目。
该项目在 F1 级自动驾驶赛车上部署了真实世界的机器人学习，最高时速达到 160 英里。
AI Racing Tech 在 2022 年的美国印第安纳波利斯自动驾驶挑战赛中夺得亚军，在 2023 年夺得季军。
另一位负责人廖启源本科毕业于广东工业大学机电工程专业，目前是 UC 伯克利机械工程专业的博士研究生。
他的研究方向专注于开发新型机器和驱动方式、结合学习和基于模型的方法、协同设计硬件、学习和控制。
目前，他在波士顿动力公司实习。
感兴趣的朋友可以到原文中查看更多细节。
项目地址：https://ember-lab-berkeley.github.io/LeVERB-Website/
论文地址：https://arxiv.org/abs/2506.13751
参考链接：
https://x.com/HaoruXue/status/1937216452983160863
一键三连「点赞」「转发」「小心心」
欢迎在评论区留下你的想法！
— 完 —
量子位 AI 主题策划正在征集中！欢迎参与专题365 行 AI 落地方案，一千零一个 AI 应用，或与我们分享你在寻找的 AI 产品，或发现的AI 新动向。
也欢迎你加入量子位每日 AI 交流群，一起来畅聊 AI 吧～
一键关注 点亮星标
科技前沿进展每日见
WPS Office是一款面向macOS用户的综合办公套件，将文字处理、电子表格、演示文稿、PDF工具、模板与云协作整合在同一应用中。它兼容常见Microsoft Office格式，支持Intel及Apple芯片Mac，基础功能可免费使用，
Shapr3D是一款面向工业设计、机械工程、建筑概念和三维打印工作流的CAD软件。Mac版采用Parasolid建模内核，支持草图约束、实体建模、工程图、可视化渲染及常见CAD格式交换，并可通过账户在多台设备之间同步项目。
REAPER是Cockos开发的数字音频工作站，提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片，支持AU、VST、VST3、CLAP等插件格式，并提供高度可定制的工作流程。
Ableton Live 是面向音乐制作人与现场表演者的数字音频工作站，提供编曲视图、独具特色的现场视图、音频录制、MIDI创作、实时变速、乐器及效果器。Mac版原生支持Apple芯片，并可连接音频接口、MIDI控制器和第三方插件。
Adobe After Effects 是面向动态图形、影视特效与视频合成的专业创作软件。它提供关键帧动画、遮罩抠像、运动跟踪、三维空间、文字动画和表达式等工具，并可与 Premiere Pro、Photoshop、Illustrator
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Adobe Bridge 是面向摄影师、设计师及内容团队的免费数字资产管理工具，可集中预览照片、视频和 Adobe 项目文件，并利用评级、标签、关键词、元数据、筛选与收藏集完成分类检索。它还支持批量重命名、格式导出、相机导入及 Camera
Adobe Illustrator 是 Adobe 推出的专业矢量图形设计软件，适合在 Mac 上制作标志、图标、插画、包装、信息图及印刷版面。它以路径和锚点构建可无损缩放的图形，并提供钢笔、形状、文字、图像描摹、渐变、画板及生成式功能。
Adobe InDesign 是面向印刷品与数字出版物的专业版面设计软件，可在 Mac 上制作书籍、杂志、宣传册、海报、报告及交互式文档。它提供精细的文字样式、网格、母版、长文档管理和印前输出能力。
Adobe Lightroom Classic 是面向桌面摄影工作流的照片管理与后期处理软件，可将原始照片保存在本地硬盘，通过目录、关键词、评分和收藏夹高效整理图库，并提供 RAW 冲印、蒙版、镜头校正、批量同步及多格式导出等功能。
Adobe Media Encoder 是 Adobe 推出的专业音视频编码与转码工具，可通过队列、预设和监视文件夹批量完成格式转换、代理文件创建及多平台成片输出，并与 Premiere Pro、After Effects 等软件紧密协作。
Adobe Photoshop 是面向摄影师、设计师和内容创作者的专业图像处理软件，提供图层、蒙版、选区、修复、调色、文字排版、智能对象及生成式编辑等能力。Mac 版支持 Intel 与 Apple Silicon 处理器。
Ableton Live 是面向音乐创作、录音、编曲、声音设计、混音与现场演出的数字音频工作站。它将适合即兴触发素材的 Session 视图与传统时间线编曲结合，并提供音频变速、MIDI工具、软件乐器、效果器和声音资源，
FL Studio 是 Image-Line 推出的数字音频工作站，面向音乐制作人、编曲者、歌手及声音设计人员。它将步进音序、钢琴卷帘、音频录制、剪辑、混音、自动化和插件宿主整合在统一环境中，并提供大量乐器、效果器、采样与预设。
Pro Tools 是 Avid 推出的专业数字音频工作站，提供多轨录音、音频剪辑、MIDI编曲、插件处理、自动化混音及影视声音制作能力。它适合音乐人、录音师、制作人和音频后期团队使用，并提供免费入门版、订阅方案及永久授权选择。
Adobe Audition 是面向播客、影视后期、广播与音乐制作的专业音频工作站，提供波形编辑、多轨混音、频谱分析、录音、降噪修复和效果处理等功能。Windows 版通过 Adobe Creative Cloud 安装和管理，
REAPER 是 Cockos 推出的数字音频工作站，适用于录音、MIDI 编曲、音频编辑、混音、母带制作及声音设计。软件安装包小巧，支持多轨录制、灵活路由、自动化、第三方插件和脚本扩展，并提供完整功能的 60 天免费评估期。
Visual Studio Code 是微软推出的免费代码编辑器，Windows 版集成智能补全、代码导航、调试、终端和版本控制，并可通过扩展添加语言、格式化及远程开发能力。它启动较快、配置灵活，
Cubase 是 Steinberg 推出的数字音频工作站，提供 MIDI 编曲、多轨录音、音频编辑、虚拟乐器、效果处理、自动化、混音和母带输出工具。其 Pro、Artist 与 Elements 版本面向不同预算和制作规模，
JetBrains IntelliJ IDEA 是以 Java、Kotlin 和 JVM 项目为核心的专业集成开发环境，提供智能补全、代码检查、安全重构、调试、测试、版本控制及构建工具集成。统一发行版的核心功能可免费用于商业和非商业项目，
Android Studio 是 Google 面向 Android 应用开发提供的官方集成开发环境，以 IntelliJ IDEA 为基础，集成智能代码编辑、Gradle 构建、设备模拟、界面预览、调试测试及性能分析工具，
Docker Desktop 为 Windows 开发者提供集成式容器环境，内置 Docker Engine、命令行工具、Compose、Build 与 Kubernetes 等组件，可在本机完成镜像构建、容器运行、日志查看和资源管理。
Postman 是面向 API 全生命周期的开发与协作平台。Windows 桌面版可用于构建和发送 HTTP、GraphQL、gRPC、WebSocket、MQTT 等请求，并提供环境变量、集合、脚本测试、模拟服务、监控、文档及团队工作区等
Navicat Premium 是一体化数据库开发与管理工具，可在同一界面连接 MySQL、PostgreSQL、SQL Server、Oracle、SQLite、MongoDB、Redis 等数据库，