展开菜单
首页 精品内容 本月促销 装机必备 Windows PDF教程 macOS软件 IOS软件 Android AI 专题
全部分类

当前位置:

首页 > 业界资讯 > 应对复杂自主操控任务,伯克利开发高质量大型机器人操控基准不再困难

应对复杂自主操控任务,伯克利开发高质量大型机器人操控基准不再困难

随着人工智能和机器人技术的迅速发展,功能操控(FunctionalManipulation)在机器人学中的重要性愈加突出。传统的基准测试已无法满足目前机器人对复杂操控任务的需求,呼吁新的操控基准(FunctionalManipulationBenchmark)出现。概述机器人操控面临两个主要挑战:机器人如何智能地处理复杂的接触动力学以及如何应对环境和物体的多样性。针对这些挑战,机器人学习技术被视为关键的解决手段。因此,该领域需要一个全面易得的框架,提供有挑战性的实际任务、高质量数据、易于复制的设置,集合了

本文目录

    伯克利开源高质量大型机器人操控基准,面对复杂自主操控任务不再犯难

    随着人工智能和机器人技术的迅速发展,功能操控(Functional Manipulation)在机器人学中的重要性愈加突出。传统的基准测试已无法满足目前机器人对复杂操控任务的需求,呼吁新的操控基准(Functional Manipulation Benchmark)出现。

    概述

    机器人操控面临两个主要挑战:机器人如何智能地处理复杂的接触动力学以及如何应对环境和物体的多样性。针对这些挑战,机器人学习技术被视为关键的解决手段。因此,该领域需要一个全面易得的框架,提供有挑战性的实际任务、高质量数据、易于复制的设置,集合了基线结果的相关方法,基于该框架,研究人员能够对所提出任务的实验发现进行深入分析。

    加州大学伯克利分校智能机器人实验室(RAIL)的研究团队提出了如上所述的现实世界基准,称为 FMB(Functional Manipulation Benchmark for Generalizable Robotic Learning)。

    伯克利开源高质量大型机器人操控基准,面对复杂自主操控任务不再犯难

    • 项目主页:https://functional-manipulation-benchmark.github.io/
    • 论文地址:https://arxiv.org/abs/2401.08553
    • 论文题目:FMB: a Functional Manipulation Benchmark for Generalizable Robotic Learning
    • 共同第一作者主页:https://people.eecs.berkeley.edu/~jianlanluo/
    • https://charlesxu0124.github.io/

    FMB 具有以下特点:

    • 创新设计:采用了 3D 打印技术制作任务中的物体,来考验机器人的泛化能力,这种方法也便于其他研究人员复现。
    • 多样化任务:包含单物体和多物体多阶段操控任务,真实模拟日常环境中的挑战。
    • 大型数据集:通过大量人工演示,为机器人提供了丰富的数据集。
    • 模仿学习基线:使用最先进的机器学习方法,提供了基线结果和模块化组件以供其他研究者使用。

    物体和任务

    FMB 中的任务大致分为两类:单物体多步骤操控任务和多物体多步骤操控任务。这些任务旨在测试机器人的基本技能,如抓取、重新定位和装配等,这些都是完成整个任务所必需的技能。FMB 中的任务要求机器人不仅能完成单一的操控技能,还要求机器人能够将这些技能组合起来,完成更为复杂的多步骤任务。

    FMB 的任务设计灵活多变,研究人员可以根据需要选择专注于单一技能,深入研究机器人的操控能力,也可以研究完整的多步骤任务,这需要机器人进行长期规划并具备从失败中恢复的能力。由于涉及选择合适的物体并推理操控物体的顺序,更为复杂的多步骤任务要求机器人能够做出复杂的实时决策。

    伯克利开源高质量大型机器人操控基准,面对复杂自主操控任务不再犯难

    伯克利开源高质量大型机器人操控基准,面对复杂自主操控任务不再犯难

    大型数据集

    在机器人学习的过程中,数据的作用不可小觑。为了使机器人更好地理解和掌握复杂的任务,研究团队收集了一个涵盖上述任务的大规模专家人类示范数据集,包含超过两万个操作轨迹。研究团队采用了四个不同的摄像机记录这些示范数据,其中两个摄像机安装在机器人的腕部,另外两个提供全局视角。这些摄像机捕捉了对于机器人学习解决任务至关重要的 RGB 彩色图像信息、深度信息等数据。

    此外,数据集还记录了机器人末端执行器的力 / 扭矩信息,这对于像装配这样需要接触大量物体的的任务非常重要。通过这些丰富的数据,机器人能够深入理解任务的每个细节,更加精确地模仿人类的操作技巧。正是由于数据的深度和广度,为机器人学习提供了坚实的基础。这使得机器人在执行复杂任务时,能够更加人性化和更灵巧地对任务作出响应。

    伯克利开源高质量大型机器人操控基准,面对复杂自主操控任务不再犯难

    伯克利开源高质量大型机器人操控基准,面对复杂自主操控任务不再犯难

    模仿学习基线

    伯克利开源高质量大型机器人操控基准,面对复杂自主操控任务不再犯难

    基线策略的架构图。

    基于 Transformer 和 ResNet 的两种模型都使用了共享权重的 ResNet 编码器对每个图像视图进行编码,然后与本体感知信息和可选的物体和相应的机器人技能编码特征结合,以预测 7 自由度的动作。

    FMB 的实验部分对模仿学习系统的性能进行了一系列测试,比较了不同的学习方法,探究了不同输入模式和设计决策的影响。实验发现,使用深度信息有助于提高抓取策略的效果,力 / 扭矩信息对于装配任务非常重要。对于多步骤任务,传统的 ResNet、Transformer 和 Diffusion 方法均未能奏效,但该论文中提出的分级控制 (hierarchical control) 方法显示出了潜力。

    抓取任务

    伯克利开源高质量大型机器人操控基准,面对复杂自主操控任务不再犯难

    实验结果显示,纳入深度信息的 ResNet 策略在抓取任务中的性能一致优于仅使用 RGB 信息的策略。通过数据削减研究,研究团队探究了不同数量的训练数据对抓取任务性能的影响。结果显示,纳入深度信息的 ResNet 策略在处理已见物体时的性能将随着训练数据量的增加而提升。值得注意的是,该策略对未见过的物体表现出了与已见物体相近的性能,这表明训练对象的多样性极大地促进了机器人的泛化能力。

    装配任务

    伯克利开源高质量大型机器人操控基准,面对复杂自主操控任务不再犯难

    在装配任务中,力 / 扭矩信息的重要性得到了证实。力 / 扭矩信息对于机器人采取的策略判断物体是否已经接触到目标表面,并有效进行搜索等行为非常重要。

    伯克利开源高质量大型机器人操控基准,面对复杂自主操控任务不再犯难

    然而,当策略在所有物体上进行训练时,机器人并不总是能够成功地完成装配任务。这是因为策略需要首先判断应将物体装配到哪个孔中,然后再生成相应的动作,这大大增加了任务的复杂性。为了解决这个问题,研究团队在策略中添加了一个选取物体机制,帮助策略确定需要装配的物体的形状,从而专注于生成正确的装配动作。

    多步骤任务

    伯克利开源高质量大型机器人操控基准,面对复杂自主操控任务不再犯难

    FMB 的框架包含了两项复杂任务。这些复杂任务要求机器人能够像人类一样连续完成多个步骤。此前的方法是让机器人学习整个过程,但这种方法容易因为单一环节的错误而不断累计误差,最后导致整个任务失败。无论是在单物体还是多物体操控任务中,这种方法的成功率均为 0/10。

    针对累积误差问题,研究团队采用了分层控制策略。分层策略通过将任务分解成若干小块,每完成一块便相当于通过一个决策点,即使出现错误也能迅速纠正,避免影响后续环节。例如,如果机器人在抓取过程中未能稳固抓住物体,它会持续尝试直至成功。

    研究团队测试了两种分层方法,第一种方法为单一策略提供指示任务类型的有效向量,而第二种方法则是针对每个操控技能单独训练不同的策略,均采用了操作员的指令作为上层策略,在测试中,研究团队发现这两种方法均表现优异。

    测试结果显示了分层方法在处理复杂机器人任务中的有效性,并为未来研究提供了新的研究方向。

    伯克利开源高质量大型机器人操控基准,面对复杂自主操控任务不再犯难

    如上图所示,机器人在学习后能够自主进行功能操控。

    伯克利开源高质量大型机器人操控基准,面对复杂自主操控任务不再犯难

    总的来说,以上实验展示了研究团队在机器人学习领域的技术创新,也验证了 FMB 是适合开发先进机器人学习方法的基准。研究团队研究期待未来的研究可以在 FMB 基础上进一步推动机器人学习的边界。
    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    业界资讯 机器人技术
    相关文章 更多
    精品专题 更多
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    macOS软件

    正软商城macOS软件专区,精选适用于Mac电脑的办公、设计、影音、效率、开发和系统工具,提供软件功能介绍、macOS兼容版本、正版授权及购买下载服务。

    IOS软件

    正软商城iOS软件专区,精选适用于iPhone和iPad的办公、学习、影音、设计、效率及AI应用,提供功能介绍、适用设备、系统要求和正版获取方式等信息。

    AI

    正软商城AI软件专区,汇集AI写作、AI绘画、AI视频、AI办公、AI编程、AI翻译、智能客服和数据分析等人工智能工具,提供功能介绍、适用平台、收费方式及正版购买信息。

    Mac软件 更多
    Aperty macOS版
    Aperty macOS版

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    火山引擎 网页版
    火山引擎 网页版

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    立刻MV 网页版
    立刻MV 网页版

    立刻MV 面向音乐人、内容创作者和品牌团队,帮助用户低成本完成歌曲 MV、歌词视频、AI 分镜、图生视频与最终合成。

    蛙蛙写作 网页版
    蛙蛙写作 网页版

    蛙蛙写作 AI 创作工具,覆盖小说、剧本、文案,一键生成文稿,打通文字转视频全流程,高效解决创作难题。

    讯飞智作 网页版
    讯飞智作 网页版

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    超级简历WonderCV 网页版
    超级简历WonderCV 网页版

    超级简历WonderCV是面向应届生和AI小白的智能求职平台,覆盖简历、面试与职业规划。

    音述AI 网页版
    音述AI 网页版

    音述AI,是一个以“用声音述说故事”为核心的 AI 音乐创作与声音分享社区。

    AionClaw macOS版
    AionClaw macOS版

    AionClaw 是可在桌面端运行的任务型 AI 助手,通过数字专家与技能市场组合办公、创作、数据和开发能力。

    Loomy macOS版
    Loomy macOS版

    Loomy 是科大讯飞推出的桌面 AI 助手,可通过对话、任务与工作目录协助处理办公、内容创作和资料整理。

    AirBuddy 3 macOS版
    AirBuddy 3 macOS版

    AirBuddy 3 是面向 macOS 的蓝牙外设增强工具,可集中查看 AirPods、Beats 与苹果设备电量,提供快速连接、播放控制、电量提醒、桌面小组件和多台 Mac 外设接力等功能。

    AirServer macOS版
    AirServer macOS版

    AirServer macOS版可把 Mac 转换为无线投屏接收端,通过 AirPlay 或 Google Cast 接收手机、平板和电脑画面,并支持多设备同时连接、高清镜像及会话录制,适合家庭娱乐、课堂教学、会议演示和应用展示。

    AnyDesk macOS版
    AnyDesk macOS版

    AnyDesk macOS版是一款适用于远程办公、设备维护和客户支持的远程桌面工具,可连接并操作异地计算机,支持文件传输、无人值守访问、会话权限控制及跨平台协作。

    WINDOWS 更多
    讯飞绘文 网页版
    讯飞绘文 网页版

    讯飞绘文网页版是科大讯飞推出的AI图文创作与内容运营工具,覆盖热点选题、文章生成、稿件校对、智能配图、排版发布和数据复盘等环节,适合自媒体创作者及内容团队在线使用。

    Maya(Autodesk Maya) Windows版
    Maya(Autodesk Maya) Windows版

    Autodesk Maya 是面向影视、电视、动画和游戏行业的专业三维制作软件,集多边形与 NURBS 建模、角色绑定、关键帧和动作捕捉动画、Bifrost 特效模拟、材质开发及 Arnold 渲染于一体,

    Aperty Windows版
    Aperty Windows版

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    火山引擎 网页版
    火山引擎 网页版

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    立刻MV 网页版
    立刻MV 网页版

    立刻MV 面向音乐人、内容创作者和品牌团队,帮助用户低成本完成歌曲 MV、歌词视频、AI 分镜、图生视频与最终合成。

    蛙蛙写作 网页版
    蛙蛙写作 网页版

    蛙蛙写作 AI 创作工具,覆盖小说、剧本、文案,一键生成文稿,打通文字转视频全流程,高效解决创作难题。

    讯飞智作 网页版
    讯飞智作 网页版

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    超级简历WonderCV 网页版
    超级简历WonderCV 网页版

    超级简历WonderCV是面向应届生和AI小白的智能求职平台,覆盖简历、面试与职业规划。

    音述AI 网页版
    音述AI 网页版

    音述AI,是一个以“用声音述说故事”为核心的 AI 音乐创作与声音分享社区。

    AionClaw Windows版
    AionClaw Windows版

    AionClaw 是可在桌面端运行的任务型 AI 助手,通过数字专家与技能市场组合办公、创作、数据和开发能力。

    Loomy Windows版
    Loomy Windows版

    Loomy 是科大讯飞推出的桌面 AI 助手,可通过对话、任务与工作目录协助处理办公、内容创作和资料整理。

    AirServer Windows版
    AirServer Windows版

    AirServer Windows版可把电脑变成AirPlay、Google Cast和Miracast无线投屏接收端,适合会议演示、课堂教学及家庭大屏分享。发送设备通常无需另装客户端,并可同时接收和智能排列多个镜像会话。