腾讯机器人研究登顶刊！能帮程序员安显示器，像真人一样协同干活
Air Explorer Pro是一款跨平台多网盘管理工具，可实现一站式完成不同网盘间文件的互传、搜索和同步等操作。任务管理和过程控制会更完整，持续下载、批量同步或需要稳定传输流程的场景会更适合它。
Thefollowingarticleisfrom机器人大讲堂Author追踪前沿动态的国产机器人新突破：两只各自独立的机械臂，已经可以丝滑地打配合了！不信你看这双手拧瓶盖：拧完再端起杯子倒水：活灵活现，如真人。呐，还能搭把手帮程序员安装好显示屏：甚至接过"同事"手里的大箱子：可以说是各种几何和物理特性的物体都能稳稳hold住。（下一步还能干啥，不敢想）这就是腾讯RoboticsX实验室的最新成果：通用双臂协同灵巧操作框架。目前已登上机器人领域顶刊《IEEETransactionsonRobotics》。
The following article is from 机器人大讲堂 Author 追踪前沿动态的
国产机器人新突破：
两只各自独立的机械臂，已经可以丝滑地打配合了！
不信你看这双手拧瓶盖：
拧完再端起杯子倒水：
活灵活现，如真人。
呐，还能搭把手帮程序员安装好显示屏：
甚至接过 " 同事 " 手里的大箱子：
可以说是各种几何和物理特性的物体都能稳稳 hold 住。
（下一步还能干啥，不敢想）
这就是腾讯 Robotics X 实验室的最新成果：通用双臂协同灵巧操作框架。目前已登上机器人领域顶刊《IEEE Transactions on Robotics》。
既然是干活，抗干扰能力得有：
既然是双手干活，两胳膊就不能 " 搅 " 一起：
下面这个不明觉厉的 " 椅子 360 ° 翻转操作 "，就展现的是它全自主的" 双臂避自碰 " 能力。
最后，偶尔遇到人类调皮，它也可以轻松 get，完成意图识别、进行动态交互：
（给我给我啊喂，算了我收手）
具体技术细节，这就揭秘～
人型双臂系统通用性实现
通用人形机器人无疑是近年来机器人与 AI 交叉领域的研究热点。
其中的人形双臂系统直接承载着这类机器人操作任务的执行能力。
任意抓取和操作具有各种几何和物理特性的任意物体则是这类系统通用化的技术体现。
而现有研究工作大多专注解决某一特定层级的问题，例如环境 - 物体的感知、推理与策略生成、机器人系统的规划或操作控制。
并且方案通常与特定的被操作物体或任务强相关，难以迁移和泛化。
腾讯 Robotics X 实验室指出，要想实现这样的通用化双臂系统，需要解决现有研究工作中三个关键的共性问题。
首先，如何基于视觉感知实现未知物体的双臂协同最优抓取。
其次，如何确保工作空间高度重叠的双臂机器人在动态协同过程中的系统安全性。
最后，如何将丰富的人类技能转移到仅拥有有限跟踪接口类型的机器人系统中。
在此，腾讯 Robotics X 实验室提出的包含两个相互耦合关联的子框架：
1、基于学习的灵巧可达感知子框架采用端到端评估网络和机器人可达性概率化建模，实现对未建模物体的最优协同抓取。
2、基于优化的多功能控制子框架则采用层级化的多优先级优化框架，并通过嵌入基于学习生成的轻量级距离代理函数和黎曼流形上的速度级跟踪控制技术。
同时实现了高精度双臂避自碰和高拟真双臂操作度椭球跟踪，保证了双臂系统的本质安全并开放了操作度椭球跟踪接口。
此外，该研究还首次系统性解决了基于视觉感知的未知物体双臂协同最优抓取，实现了工作空间高度重叠的双臂机器人本质安全并开放了可用于人机技能迁移学习的双臂协同操作度椭球跟踪接口。
最终，该系统在感知层、双手抓取、协同操作规划和底层控制等方面提供了丰富的接口，具有很高的通用性、可扩展性和兼容性。
技术细节如下：
灵巧可达感知子框架
围绕灵巧可达感知子框架，为实现对未知物体的双臂协同抓取，需要为双臂系统自主生成可执行的灵巧最优抓取对。
研究人员从数据集生成，抓取质量评估网络和双臂机器人可达性概率化建模三个层面着手，系统性设计了灵巧 - 可达感知双臂抓取子框架，实现视觉系统感知到的物体 3D 点云到灵巧 - 可达最优的双臂 6D 抓取位姿对之间的端到端映射。
1、双臂灵巧感知抓取数据集
为建立准确的输入点云与输出双臂抓取质量之间的映射关系并有效训练抓取评估网络，研究人员提出了业界首个大规模灵巧性感知的双臂抓取合成数据集（DA2 Dataset）。
该数据集包含 6327 个物体的 Mesh 和超过 900 万组抓取对，每一组抓取都采用抓取奇异性 - 抓取稳定性 - 抓取力兼容性三个指标做了标注。
2、双臂协同抓取质量评估网络
实际场景中一般可采用例如启发式采样等技术在感知到的物体 3D 点云上生成候选抓取对，为实时在线评估这些候选抓取对的质量并输出最优解。
研究人员设计了面向双臂协同抓取的质量评估网络 Dual-PointNetGPD，并利用 DA2 数据集进行训练。
相较于基于简化接触力模型和依赖精确物体几何特征的传统分析方法而言，基于学习的 Dual-PointNetGPD 可以直接处理有噪声的 3D 点云并对候选双臂抓取构型的灵巧性和可靠性进行评估。
因而对广泛存在的视觉感知噪声具有更高的鲁棒性。
3、双臂可达性建模与最优抓取分配
Dual-PointNetGPD 从视觉感知的角度输出抓取对质量评估结构，针对特定的双臂机器人系统，还需要从机器人本体角度考虑候选抓取对在机器人操作空间中的可达性问题和抓取对在双臂之间的分配问题。
研究人员采用单位四元数高斯混合模型建模技术对双臂 6 自由度工作空间进行建模并设计了概率最大化分配策略，实现了双臂抓取可达性与抓取灵巧性评估的融合统一。
多功能协同操作控制子框架
针对多功能协同操作控制子框架，具备协同抓取未知物体的能力是实现双臂通用化的第一步，而具备本体安全感知的协同操作运动规划是衔接通用抓取并实现通用操作的第二步。
由于人形双臂机器人系统的两条机械臂的工作空间往往高度重叠，对于执行双臂动态任务的机器人本体而言，避自碰撞需要放在运动规划中的最高优先级，在提升避碰精度的同时还需要减小在线计算代价以保证避碰实时性。
此外，作为重要的操作性能指标和机器人技能表征之一，双臂协同操作度椭球需要被连续控制以实现对机械臂构型的实时优化，从而提高双臂系统的操作灵巧度，避免因操作奇异性导致的任务失败。
研究人员为此设计了一个新型的多功能协同操作控制子框架。
该框架基于层级化的多目标多优先级优化框架，将学习得到的轻量级双臂最小距离代理函数和黎曼流形速度跟踪任务以不等式约束的形式嵌入到不同的优先级中。
从而实现了双臂操作运动规划的本质安全性与人机技能迁移学习中双臂构型优化的高拟真性。
1、双臂高精度避自碰
△ 工作空间高度交叠的人形双臂机器人
获取精确可靠的描述双臂碰撞边界的最小距离函数是将避碰约束嵌入到多优先级优化框架中并实现双臂避自碰的关键一步。
由于双臂构型空间维度高且工作空间相互交叠，使得其中的安全子空间与碰撞子空间分布严重失衡而难以分割开。
研究人员提出了一种新颖的基于主动学习的采样方法，用以生成大规模的、平衡的、信息丰富的双臂碰撞数据集。
然后通过机器学习的方式对双臂最小距离关于双臂构型的映射关系予以拟合，从而高效获取高精度的最小距离代理函数。
△基于主动学习的采样算法示意
2、基于黎曼几何的双臂协同操作度椭球跟踪
除避自碰以外，操作度椭球跟踪因其与操作技能和操作构型强相关，也是双臂系统控制中需要重点处理的问题。
双臂操作度椭球由对称正定矩阵（SPD）来描述，研究人员通过设计流形空间中的速度前馈项并结合误差控制原理，实现了双臂操作度椭球的实时跟踪以及跟踪误差的全局指数收敛，并给出了完整的理论分析与证明。
双臂操作度椭球跟踪任务以等式约束的形式嵌入到了多优先级优化框架中并以双臂操作度椭球跟踪接口的形式呈现。
3、多优先级优化与控制器设计
研究人员采用协同任务空间变量（双臂绝对运动与双臂相对运动）来描述所有的双臂协同 - 非协同 / 同步 - 异步任务，并基于多目标多优先级框架设计了双臂通用协同操作控制的系统框架。
该框架将上述双臂避自碰，双臂操作度椭球跟踪等多任务进行有机融合在一起，从而在运动规划与控制层面为双臂通用化扫清了障碍。
协同抓取、避自碰样样出色
为验证双臂最优协同抓取，双臂避自碰以及双臂协同操作度椭球跟踪方面的有效性，研究人员就所设计的 Dual-PointNetGPD 网络、学习生成的双臂最小距离代理函数以及 SPD 流形跟踪误差进行了定量分析。
1、双臂最优协同抓取 研究人员在物理仿真引擎中开展了大规模消融实验，结果表明所设计和训练的 Dual-PointNetGPD 网络有效提升了大尺寸未建模物体抓取任务中的双臂协同抓取成功率。
2、双臂避自碰
主要从双臂碰撞数据集生成与双臂最小距离代理函数两个维度做分析，考虑到双臂构型空间是 14 维，以 20-30 ° 为采样步长进行低精度采样，每一维分成 10 等分，需要的数据集规模也达到了 1014。
研究人员使用基于主动学习的采样技术生成双臂碰撞数据集，200 万数据规模的前提下即可实现 95% 以上的高预测精度，相较于目前在非平衡数据集学习中广泛使用的 b-SMOTE 等技术而言具有更高的数据效率和预测精度。
△平均预测误差与预测准确性分析
此外，基于学习训练生成的双臂最小距离代理函数计算一次双臂最小距离的时间约为 0.072ms, 显著低于被广泛使用的 FCL 算法库所需的 5.36ms，且方差更小。
这极大地提升了该方法在实际部署时的实时性并保证了整个双臂协同运动规划的稳定可预测。
此外，代理函数展现了优异的连续性和可微性，这对于将避自碰以不等式约束的形式嵌入到平滑多目标优化框架中非常重要。
△表计算时间对比分析
△平滑性对比分析
3、双臂协同操作度椭球跟踪
通过消融实验验证了所设计并嵌入到多目标优化框架中的操作都椭球跟踪约束有效地降低了双臂实际构型与期望构型之间的差异，验证了 SPD 流形跟踪接口的有效性。
4、双臂协同翻转实验：
为验证自主避自碰能力，研究人员设计了需要极限扭转的协同翻转实验中。
在该实验中，双臂系统自主完成了互缠绕无碰轨迹运动规划，在不改变抓握构型的前提下实现了对椅子 360 ° 翻转操作。
物体的绝对运动在回转方向上始终保持高精度跟踪，在其他自由度上则动态地自主松弛，双臂相对运动误差低于 0.003 （m 或 rad），避碰安全距离被高效压缩到了 2.5 cm。
同时整个多功能协同操作控制子框架在采用机械臂高精度网格模型下的典型计算时间为 8.318 ms，解决了高精度和高实时性不可同时实现的困境。
以上结果也表明各级任务严格按照所给定的优先级执行。
在 long-horizon 重排实验中，双臂机器人系统连续抓取和操作人居环境中常见的桌面书架，储物篮和显示器支架这 3 个未建模物体。
实验结果表明双臂机器人在所设计的通用框架下能协同抓取大尺寸物体并能在执行复杂协同操作任务过程中全自主高精度避自碰。
总结：
可以看到，该研究首次系统性解决了基于视觉感知的未知物体双臂协同最优抓取，实现了工作空间高度重叠的双臂机器人本质安全，并开放了可用于人机技能迁移学习的双臂协同操作度椭球跟踪接口。
这一自上而下研究具身智能并至下而上研究机器人操作规划与控制的工作，有助于弥合 AI 与 Robotics 之间的技术鸿沟，提升基于 AI 生成的操作策略在物理世界中执行的稳定性和可靠性，加速双臂系统全自主通用化的到来。
论文地址：
https://ieeexplore.ieee.org/document/10449470
Postman是一套面向API全生命周期的开发与测试平台，可在Mac上发送和调试多种协议请求，管理集合、环境及认证信息，并完成脚本测试、模拟服务、监控、文档发布和团队协作。它适合开发、测试及运维人员使用，提供个人免费方案。
Docker Desktop 是 Docker 官方为 Mac 提供的容器开发环境，集成 Docker Engine、命令行工具、Compose、Build、Kubernetes 与图形化管理界面。
Android Studio 是 Google 面向安卓应用开发提供的官方集成开发环境，基于 IntelliJ IDEA 构建。它整合智能代码编辑、Gradle 构建、界面预览、设备模拟、性能分析、调试测试及 APK 分析等工具。
Xcode 是苹果面向 Mac 提供的官方集成开发环境，将代码编辑、项目构建、SwiftUI 实时预览、设备模拟、自动化测试、断点调试、性能分析和应用分发整合在同一套工作流中，适合开发与维护 iPhone、iPad、Mac、Apple Wa
JetBrains WebStorm 是面向 JavaScript、TypeScript 和现代 Web 技术的专业集成开发环境，可智能理解项目结构，提供代码补全、重构、错误检查、运行调试、测试及 Git 工具。
PhpStorm 是 JetBrains 推出的专业 PHP 集成开发环境，可在 Mac 上完成代码编写、智能检查、重构、调试、测试和数据库管理。它支持主流 PHP 框架、Composer、Git、Docker 与远程解释器。
JetBrains PyCharm 是面向 Python 开发者的集成开发环境，提供智能补全、代码检查、重构、调试、测试、版本控制及虚拟环境管理功能。Mac 版兼容 Intel 与 Apple 芯片，核心功能可免费使用。
IntelliJ IDEA 是 JetBrains 推出的专业集成开发环境，重点服务于 Java、Kotlin 与 JVM 项目开发。软件集成代码补全、静态检查、重构、调试、测试、版本控制及构建工具，并可借助插件扩展语言和框架支持。
Visual Studio Code 是微软提供的免费代码编辑器，支持 macOS，并为 Intel 与 Apple 芯片 Mac 提供适配版本。软件集代码编辑、调试、Git 源代码管理、集成终端和扩展市场于一体。
REAPER是Cockos开发的数字音频工作站，提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片，支持AU、VST、VST3、CLAP等插件格式，并提供高度可定制的工作流程。
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Pro Tools 是 Avid 推出的专业数字音频工作站，覆盖多轨录音、无损剪辑、MIDI 编曲、插件处理、自动化混音及声音与画面同步等工作。它拥有 Intro、Artist、Studio 和 Ultimate 等方案。
PixPix 是面向品牌、卖家和内容团队的在线 AI 图片视频创作平台，提供图视频 Agent、无限画布、图片生成、视频生成、自然语言编辑及商品套图、产品精修和带货视频等电商工具。
Postman 是面向 API 全生命周期的开发与协作平台。Windows 桌面版可用于构建和发送 HTTP、GraphQL、gRPC、WebSocket、MQTT 等请求，并提供环境变量、集合、脚本测试、模拟服务、监控、文档及团队工作区等
Docker Desktop 为 Windows 开发者提供集成式容器环境，内置 Docker Engine、命令行工具、Compose、Build 与 Kubernetes 等组件，可在本机完成镜像构建、容器运行、日志查看和资源管理。
Android Studio 是 Google 面向 Android 应用开发提供的官方集成开发环境，以 IntelliJ IDEA 为基础，集成智能代码编辑、Gradle 构建、设备模拟、界面预览、调试测试及性能分析工具，
WebStorm 是 JetBrains 面向 JavaScript、TypeScript 和现代 Web 技术打造的集成开发环境。它提供项目级代码分析、智能补全、安全重构、导航搜索，并集成调试、测试、终端、Git 与常用前端工具，
PhpStorm 是 JetBrains 面向 PHP 与现代 Web 开发打造的专业集成开发环境，提供代码补全、静态检查、重构、调试、测试、数据库、版本控制及前端语言支持。Windows 用户可直接下载安装程序，
PyCharm 是 JetBrains 推出的 Python 集成开发环境，提供智能代码补全、错误检查、重构、调试、测试、Git、终端及 Jupyter Notebook 支持。统一版安装后可体验 30 天 Pro 功能，
JetBrains IntelliJ IDEA 是以 Java、Kotlin 和 JVM 项目为核心的专业集成开发环境，提供智能补全、代码检查、安全重构、调试、测试、版本控制及构建工具集成。统一发行版的核心功能可免费用于商业和非商业项目，
Visual Studio Code 是微软推出的免费代码编辑器，Windows 版集成智能补全、代码导航、调试、终端和版本控制，并可通过扩展添加语言、格式化及远程开发能力。它启动较快、配置灵活，
REAPER 是 Cockos 推出的数字音频工作站，适用于录音、MIDI 编曲、音频编辑、混音、母带制作及声音设计。软件安装包小巧，支持多轨录制、灵活路由、自动化、第三方插件和脚本扩展，并提供完整功能的 60 天免费评估期。
Adobe Audition 是面向播客、影视后期、广播与音乐制作的专业音频工作站，提供波形编辑、多轨混音、频谱分析、录音、降噪修复和效果处理等功能。Windows 版通过 Adobe Creative Cloud 安装和管理，
Pro Tools 是 Avid 推出的专业数字音频工作站，提供多轨录音、音频剪辑、MIDI编曲、插件处理、自动化混音及影视声音制作能力。它适合音乐人、录音师、制作人和音频后期团队使用，并提供免费入门版、订阅方案及永久授权选择。