利用Vision Pro在实时模式下训练机器狗！MIT博士生的开源项目备受关注
VisionPro又现火爆新玩法，这回还和具身智能联动了~就像这样，MIT小哥利用VisionPro的手部追踪功能，成功实现了对机器狗的实时控制。不仅开门这样的动作能精准get：也几乎没什么延时。Demo一出，不仅网友们大赞鹅妹子嘤，各路具身智能研究人员也嗨了。比如这位准清华叉院博士生：还有人大胆预测：这就是我们与下一代机器互动的方式。项目如何实现，作者小哥朴英孝（YounghyoPark）已经在GitHub上开源。相关App可以直接在VisionPro的AppStore上下载。用VisionPro训练机
Vision Pro又现火爆新玩法，这回还和具身智能联动了~
就像这样，MIT小哥利用Vision Pro的手部追踪功能，成功实现了对机器狗的实时控制。
不仅开门这样的动作能精准get：
也几乎没什么延时。
Demo一出，不仅网友们大赞鹅妹子嘤，各路具身智能研究人员也嗨了。
比如这位准清华叉院博士生：
还有人大胆预测：这就是我们与下一代机器互动的方式。
项目如何实现，作者小哥朴英孝（Younghyo Park）已经在GitHub上开源。相关App可以直接在Vision Pro的App Store上下载。
用Vision Pro训练机器狗
具体来看看作者小哥开发的App——Tracking Steamer。
顾名思义，这个应用程序旨在利用Vision Pro追踪人类动作，并将这些动作数据实时传输到同一WiFi下的其他机器人设备上。
动作追踪的部分，主要依靠苹果的ARKit库来实现。
其中头部追踪调用的是queryDeviceAnchor。用户可以通过长按数字表冠来重置头部框架到当前位置。
手腕和手指追踪则通过HandTrackingProvider实现。它能够追踪左右手腕相对于地面框架的位置和方向，以及每只手25个手指关节相对于手腕框架的姿态。
网络通信方面，这个App使用gRPC作为网络通信协议来流式传输数据。这使得数据能被更多设备订阅，包括Linux、Mac和Windows设备。
另外，为了方便数据传输，作者小哥还准备了一个Python API，让开发者能够通过编程方式订阅和接收从Vision Pro流式传输的追踪数据。
API返回的数据是字典形式，包含头部、手腕、手指的SE(3)姿态信息，即三维位置和方向。开发者可以直接在Python中处理这些数据，用于对机器人的进一步分析和控制。
就像不少专业人士所指出的那样，别看机器狗的动作还是由人类控制，事实上，相比于“操控”本身，结合模仿学习算法，人类在这个过程中，更像是机器人的教练。
而Vision Pro通过追踪用户的动作，提供了一种直观、简单的交互方式，使得非专业人员也能够为机器人提供精准的训练数据。
作者本人也在论文中写道：
在不久的将来，人们可能会像日常戴眼镜一样佩戴Vision Pro这样的设备，想象一下我们可以从这个过程中收集多少数据！
这是一个充满前景的数据源，机器人可以从中学习到，人类是如何与现实世界交互的。
最后，提醒一下，如果你想上手试一试这个开源项目，那么除了必备一台Vision Pro之外，还需要准备：
- 苹果开发者账户
- Vision Pro开发者配件（Developer Strap，售价299美元）
- 安装了Xcode的Mac电脑
嗯，看样子还是得先让苹果赚一笔了（doge）。
项目链接：https://github.com/Improbable-AI/VisionProTeleop?tab=readme-ov-file
Photoshop 2026 是 Adobe 推出的专业图像处理与视觉设计软件，支持 Windows、macOS 和 iPad 等平台，广泛应用于摄影修图、电商设计、平面海报、数字绘画及视觉合成等创作场景。
Blender 是一款免费开源、跨平台的专业 3D 创作软件，集建模、动画、渲染、视频编辑与视觉合成等功能于一体，广泛应用于影视动画、游戏设计和建筑可视化等领域。软件支持 Cycles 物理渲染器与 Eevee 实时渲染引擎，并提供多边形建模、骨骼绑定、物理模拟等专业工具。Blender 兼容 Windows、macOS 和 Linux 系统，安装包轻巧、运行流畅，依托活跃的全球开发者社区持续更新，是从初学者到专业创作者都值得选择的正版 3D 创作工具。
极度公式是一款跨平台专业LaTeX公式识别编辑软件，支持OCR公式识别和多平台编辑。和使用说明，避免使用，享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时，它能把识别后的处理步骤接得更顺，资料录入这类场景会省下不少时间。
一款文字处理软件，一种订阅式的跨平台办公软件，基于云平台提供多种服务，通过将 Excel 和 Outlook 等应用与 OneDrive 和 Microsoft Teams 等强大的云服务相结合，Office 365 可让任何人使用任何设备随时随地创建和共享内容。
CodeExpander 是一款快捷短语输入增强工具，通过键入缩写自动展开为自定义文段，提升工作效率。任务管理和过程控制会更完整，持续下载、批量同步或需要稳定传输流程的场景会更适合它。
Mountain Duck 是一款能将多个网盘挂载到本地的工具，像本地磁盘一样使用网盘。清理链路的完整性会更好一些，做应用卸载、残留处理和空间整理时，通常能少走很多手动排查步骤。
Photoshop 2026 是 Adobe 推出的专业图像处理与视觉设计软件，支持 Windows、macOS 和 iPad 等平台，广泛应用于摄影修图、电商设计、平面海报、数字绘画及视觉合成等创作场景。
Blender 是一款免费开源、跨平台的专业 3D 创作软件，集建模、动画、渲染、视频编辑与视觉合成等功能于一体，广泛应用于影视动画、游戏设计和建筑可视化等领域。软件支持 Cycles 物理渲染器与 Eevee 实时渲染引擎，并提供多边形建模、骨骼绑定、物理模拟等专业工具。Blender 兼容 Windows、macOS 和 Linux 系统，安装包轻巧、运行流畅，依托活跃的全球开发者社区持续更新，是从初学者到专业创作者都值得选择的正版 3D 创作工具。
极度公式是一款跨平台专业LaTeX公式识别编辑软件，支持OCR公式识别和多平台编辑。和使用说明，避免使用，享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时，它能把识别后的处理步骤接得更顺，资料录入这类场景会省下不少时间。
一款文字处理软件，一种订阅式的跨平台办公软件，基于云平台提供多种服务，通过将 Excel 和 Outlook 等应用与 OneDrive 和 Microsoft Teams 等强大的云服务相结合，Office 365 可让任何人使用任何设备随时随地创建和共享内容。
Wise Folder Hider Pro 是一款专业级文件和文件夹隐藏加密软件，为私密数据添加多重保护。高频操作更强调就近处理，浏览、整理和跨目录移动文件时，来回切换和重复点击都会少很多。
CodeExpander 是一款快捷短语输入增强工具，通过键入缩写自动展开为自定义文段，提升工作效率。任务管理和过程控制会更完整，持续下载、批量同步或需要稳定传输流程的场景会更适合它。