MIT 博士生开放源项目让 Vision Pro 训练机器狗引起轰动
VisionPro又现火爆新玩法，这回还和具身智能联动了~就像这样，MIT小哥利用VisionPro的手部追踪功能，成功实现了对机器狗的实时控制。不仅开门这样的动作能精准get：也几乎没什么延时。Demo一出，不仅网友们大赞鹅妹子嘤，各路具身智能研究人员也嗨了。比如这位准清华叉院博士生：还有人大胆预测：这就是我们与下一代机器互动的方式。具体来看看作者小哥开发的App——TrackingSteamer。顾名思义，这个应用程序旨在利用VisionPro追踪人类动作，并将这些动作数据实时传输到同一WiFi下的其
Vision Pro 又现火爆新玩法，这回还和具身智能联动了 ~
就像这样，MIT 小哥利用 Vision Pro 的手部追踪功能，成功实现了对机器狗的实时控制。
不仅开门这样的动作能精准 get：
也几乎没什么延时。
Demo 一出，不仅网友们大赞鹅妹子嘤，各路具身智能研究人员也嗨了。
比如这位准清华叉院博士生：
还有人大胆预测：这就是我们与下一代机器互动的方式。
具体来看看作者小哥开发的 App ——Tracking Steamer。
顾名思义，这个应用程序旨在利用 Vision Pro 追踪人类动作，并将这些动作数据实时传输到同一 WiFi 下的其他机器人设备上。
动作追踪的部分，主要依靠苹果的 ARKit 库来实现。
其中头部追踪调用的是 queryDeviceAnchor。用户可以通过长按数字表冠来重置头部框架到当前位置。
手腕和手指追踪则通过 HandTrackingProvider 实现。它能够追踪左右手腕相对于地面框架的位置和方向，以及每只手 25 个手指关节相对于手腕框架的姿态。
网络通信方面，这个 App 使用 gRPC 作为网络通信协议来流式传输数据。这使得数据能被更多设备订阅，包括 Linux、Mac 和 Windows 设备。
另外，为了方便数据传输，作者小哥还准备了一个 Python API，让开发者能够通过编程方式订阅和接收从 Vision Pro 流式传输的追踪数据。
API 返回的数据是字典形式，包含头部、手腕、手指的 SE ( 3 ) 姿态信息，即三维位置和方向。开发者可以直接在 Python 中处理这些数据，用于对机器人的进一步分析和控制。
就像不少专业人士所指出的那样，别看机器狗的动作还是由人类控制，事实上，相比于 " 操控 " 本身，结合模仿学习算法，人类在这个过程中，更像是机器人的教练。
而 Vision Pro 通过追踪用户的动作，提供了一种直观、简单的交互方式，使得非专业人员也能够为机器人提供精准的训练数据。
作者本人也在论文中写道：
在不久的将来，人们可能会像日常戴眼镜一样佩戴 Vision Pro 这样的设备，想象一下我们可以从这个过程中收集多少数据！
这是一个充满前景的数据源，机器人可以从中学习到，人类是如何与现实世界交互的。
最后，提醒一下，如果你想上手试一试这个开源项目，那么除了必备一台 Vision Pro 之外，还需要准备：
苹果开发者账户
Vision Pro 开发者配件（Developer Strap，售价 299 美元）
安装了 Xcode 的 Mac 电脑
嗯，看样子还是得先让苹果赚一笔了（doge）。
项目链接：
https://github.com/Improbable-AI/VisionProTeleop?tab=readme-ov-file
参考链接：
https://twitter.com/younghyo_park/status/1766274298422161830
正软商城本月促销专区，汇集办公、设计、安全、影音、系统工具及AI软件等正版软件优惠活动，提供限时折扣、特价授权和优惠购买信息，活动库存及价格以页面实时展示为准。
正软商城装机必备专区，精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件，帮助用户快速完成新电脑软件配置。
正软商城Windows软件专区，汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件，提供软件介绍、系统要求、正版授权及购买下载服务。
正软商城macOS软件专区，精选适用于Mac电脑的办公、设计、影音、效率、开发和系统工具，提供软件功能介绍、macOS兼容版本、正版授权及购买下载服务。
正软商城iOS软件专区，精选适用于iPhone和iPad的办公、学习、影音、设计、效率及AI应用，提供功能介绍、适用设备、系统要求和正版获取方式等信息。
正软商城AI软件专区，汇集AI写作、AI绘画、AI视频、AI办公、AI编程、AI翻译、智能客服和数据分析等人工智能工具，提供功能介绍、适用平台、收费方式及正版购买信息。
正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法，同时介绍常用PDF软件和工具的使用技巧。
赤友清理大师是一款为 Mac 设计的智能清理优化工具，可精准扫描垃圾、大文件、重复文件等，释放磁盘空间。做扫描整理、文字提取和表格转换时，它能把识别后的处理步骤接得更顺，资料录入这类场景会省下不少时间。
极度公式是一款跨平台专业LaTeX公式识别编辑软件，支持OCR公式识别和多平台编辑。和使用说明，避免使用，享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时，它能把识别后的处理步骤接得更顺，资料录入这类场景会省下不少时间。
一款文字处理软件，一种订阅式的跨平台办公软件，基于云平台提供多种服务，通过将 Excel 和 Outlook 等应用与 OneDrive 和 Microsoft Teams 等强大的云服务相结合，Office 365 可让任何人使用任何设备随时随地创建和共享内容。
CodeExpander 是一款快捷短语输入增强工具，通过键入缩写自动展开为自定义文段，提升工作效率。任务管理和过程控制会更完整，持续下载、批量同步或需要稳定传输流程的场景会更适合它。
Mountain Duck 是一款能将多个网盘挂载到本地的工具，像本地磁盘一样使用网盘。清理链路的完整性会更好一些，做应用卸载、残留处理和空间整理时，通常能少走很多手动排查步骤。
极度公式是一款跨平台专业LaTeX公式识别编辑软件，支持OCR公式识别和多平台编辑。和使用说明，避免使用，享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时，它能把识别后的处理步骤接得更顺，资料录入这类场景会省下不少时间。
一款文字处理软件，一种订阅式的跨平台办公软件，基于云平台提供多种服务，通过将 Excel 和 Outlook 等应用与 OneDrive 和 Microsoft Teams 等强大的云服务相结合，Office 365 可让任何人使用任何设备随时随地创建和共享内容。
Wise Folder Hider Pro 是一款专业级文件和文件夹隐藏加密软件，为私密数据添加多重保护。高频操作更强调就近处理，浏览、整理和跨目录移动文件时，来回切换和重复点击都会少很多。
CodeExpander 是一款快捷短语输入增强工具，通过键入缩写自动展开为自定义文段，提升工作效率。任务管理和过程控制会更完整，持续下载、批量同步或需要稳定传输流程的场景会更适合它。
Mountain Duck 是一款能将多个网盘挂载到本地的工具，像本地磁盘一样使用网盘。清理链路的完整性会更好一些，做应用卸载、残留处理和空间整理时，通常能少走很多手动排查步骤。
