Science Robotics封面！DeepMind强化学习打造超一流机器人球员
AI和机器人专家的长远目标，是创造出具有一般智能的代理，它们能够像动物或人类一样，在物理世界中灵活、巧妙地行动。这不仅涉及流畅的动作组合，还包括对环境的感知与理解，以及利用身体实现复杂目标的能力。多年来，研究者们致力于在仿真和真实环境中创造出具备复杂运动能力的智能化身代理。最近，这一领域取得了显著的进展，其中深度强化学习发挥了至关重要的作用。虽然尽管射箭四足机器人已经广泛应用，但人形和双足机器人的控制仍然面临诸多挑战。这些挑战包括保持稳定性、安全性以及自由度等问题。不过，近日GoogleDeepMind在
AI和机器人专家的长远目标，是创造出具有一般智能的代理，它们能够像动物或人类一样，在物理世界中灵活、巧妙地行动。
这不仅涉及流畅的动作组合，还包括对环境的感知与理解，以及利用身体实现复杂目标的能力。
多年来，研究者们致力于在仿真和真实环境中创造出具备复杂运动能力的智能化身代理。
最近，这一领域取得了显著的进展，其中深度强化学习发挥了至关重要的作用。
虽然尽管射箭四足机器人已经广泛应用，但人形和双足机器人的控制仍然面临诸多挑战。这些挑战包括保持稳定性、安全性以及自由度等问题。
不过，近日Google DeepMind在仿人足球领域取得了突破性进展——
研究团队展示了深度强化学习如何孕育出高质量的个体技能，如精准的踢球、快速的奔跑和灵活的转身。更将这些技能巧妙地编织成一套敏捷的反应策略。这些技能有着广泛的应用领域，如机器人、自动驾驶和游戏产业等。通过这些技能的积累和组合，可以实现更智能、更高效的智能系统，为现代社会
目前，相关成果已发表于《Science Robotics》，并成为该期的封面论文。
论文地址：https://www.science.org/doi/10.1126/scirobotics.adi8022
ROBOTIS OP3机器人平台
研究人员采用ROBOTIS OP3机器人平台，这款微型仿人机器人经济实惠，拥有20个可控关节，其灵活性足以应对复杂的足球动作。
在训练中，机器人仅依靠板载传感器如关节位置加速计和陀螺仪来感知环境，并通过板载计算机计算目标关节角度，实现精准的动作执行。
为了确保机器人能够实时掌握球场动态，研究团队还使用了实时运动捕捉系统，实时监测两个机器人和球的位置。
简化足球比赛验证技能与策略
为了测试这些技能的实战效果，研究人员精心设计了一场简化的单对单足球比赛。
在这个竞技场上，两位「选手」——两台仿人足球机器人，展开了激烈的较量。
球赛的规则为：进球者获得奖励，过于靠近对手则会受到惩罚。
这种巧妙的游戏设定，使得机器人能够在不断试错中，逐步学会如何在激烈的对抗中保持优势。
Teacher策略提炼与Student策略集成
在训练过程中，研究人员采用了分布式MPO这一非策略强化学习算法，对机器人进行了多阶段的仿真训练。
他们首先训练了两个teacher策略，分别负责站立和射门，随后通过KL正则化方法将这两个策略融合，形成一个student策略。
随着训练的深入，正则化逐渐减弱，最终行为得以自由优化任务奖励。
仿真训练对于机器人技能的磨练至关重要，但如何确保这些技能能够安全稳健地应用于真实机器人，是另一个巨大的挑战。
为此，研究团队在训练和仿真中加入了多种噪音，如观测噪音和仿真动力学模型扰动，以增强机器人的鲁棒性。
同时，他们还增加了仿真中的延迟，同时尽降低真实机器人控制软件中的延迟，确保机器人能够迅速响应。
鉴于机器人在进行动态踢踏运动时，其齿轮容易受到瞬时冲击的影响，特别是膝盖部位容易因此受损。
为了显著降低机器人在游戏过程中由于高扭矩所引发的损坏风险，研究团队在仿真环境中特别针对膝关节产生的高扭矩设定了惩罚机制。
通过这一措施，成功地引导机器人学习和采用更为柔和、稳定的步态，显著提高了其运动的安全性和稳定性。
实战表现展现高层次战略意识
经过这一系列训练，机器人展现出了令人惊叹的足球技能。
它们不仅能够快速起身和行走，还能在比赛中灵活应对各种情况，如拒绝干扰、从跌倒中恢复、快速转身射门和拦截移动中的球。
更令人惊讶的是，它们还表现出了高水平的战略行为。比如，机器人会巧妙地利用位置优势，防御性地阻挡对手的射门，展现出与真实球员不相上下的竞技水平。
AirBuddy 3 是面向 macOS 的蓝牙外设增强工具，可集中查看 AirPods、Beats 与苹果设备电量，提供快速连接、播放控制、电量提醒、桌面小组件和多台 Mac 外设接力等功能。
AirServer macOS版可把 Mac 转换为无线投屏接收端，通过 AirPlay 或 Google Cast 接收手机、平板和电脑画面，并支持多设备同时连接、高清镜像及会话录制，适合家庭娱乐、课堂教学、会议演示和应用展示。
Beamer 4是面向macOS的本地视频投屏工具，可将Mac中的影片投放到Apple TV、Chromecast及兼容设备，支持常见格式、多类字幕、环绕声、播放列表和电视遥控操作。
Boom 3D macOS版是一款系统级音效增强工具，可为音乐、电影、游戏和流媒体提供3D虚拟环绕声、31段均衡器、音量增强及应用独立音量控制，并支持本地播放器与多种音频输出设备。
Boris FX macOS版是一套面向剪辑、合成、调色及动态图形工作的专业后期工具，涵盖视觉特效、平面与三维跟踪、转描、画面修复、粒子动画和音频清理，可配合多种主流宿主软件使用。
Capto 是面向 macOS 的屏幕截图、高清录屏与媒体编辑工具，支持区域及整屏捕获、网页长截图、双音轨处理、图片和视频标注、素材分类与多渠道分享，适合教师、学生、内容创作者及需要制作演示教程的用户。
Cursor Crane 是一款仅面向 macOS 的键盘操控效率工具，可通过提示标签、网格、文字查找和窗口模式完成点击、滚动、定位与切换，并支持屏幕内容提取、脚本及工作流扩展。
Deep Freeze 冰点还原 macOS版通过冻结系统配置，让受保护的Mac在重新启动后回到预设状态，并提供解冻空间、维护计划、密码保护及Apple Remote Desktop管理能力。
Focusky macOS版是一款面向教学课件、商务汇报、产品展示和动画宣传内容的演示制作工具。它通过无限画布、路径编排、缩放旋转转场及多媒体编辑，将传统逐页幻灯片转化为更具空间感的动态演示。
Folder Colorizer 2 macOS版是一款直观的文件夹外观定制工具，可更换颜色，添加表情、贴纸及图片背景，并支持批量处理、智能推荐和恢复默认样式，帮助用户更快辨认工作、学习与生活资料。
AirServer Windows版可把电脑变成AirPlay、Google Cast和Miracast无线投屏接收端，适合会议演示、课堂教学及家庭大屏分享。发送设备通常无需另装客户端，并可同时接收和智能排列多个镜像会话。
AlwaysUp是一款面向Windows的系统服务注册与程序托管工具，可让普通应用、脚本及批处理在无人登录时随系统启动，并通过状态检测、异常重启、资源监控和邮件通知保障关键任务持续运行。
AnyDesk Windows版是一款轻量化远程桌面与技术支持工具，可用于控制异地电脑、传输文件、远程打印及无人值守访问。它兼顾连接响应、安全权限和部署灵活性，适合个人远程办公、企业设备维护与客服支持。
Boom 3D Windows版是一款面向音乐、电影和游戏场景的系统级音效增强工具，支持虚拟3D环绕声、31段均衡器、预设音效、应用音量控制及本地音乐播放，可配合耳机、扬声器和蓝牙耳机使用。
Boris FX Windows版是一套服务于影视剪辑、视觉特效、运动跟踪、转描、图像修饰及音频修复的专业创作工具集合，可作为插件接入多种主流后期宿主，也包含可独立运行的应用，适合剪辑师、特效师与内容创作者使用。
ChemDraw Windows版是一款面向化学研究、药物研发、材料科学和教学工作的专业结构绘图工具，可快速绘制分子、反应式及生物聚合物，并提供结构整理、格式转换、性质计算和科研文档协作能力。
CODESOFT Windows版是一套企业级条码与RFID标签设计打印工具，可连接Excel、Access、SQL及云端数据源，支持变量、表单、GS1条码、数据库记录和多种工业打印机，适合制造、仓储、物流及合规标识场景。
Deep Freeze 冰点还原 Windows版通过重启恢复技术保护系统盘及指定分区，自动撤销恶意程序、误操作和配置漂移造成的改动，并支持密码保护、解冻空间与多硬盘管理，适合学校机房、公共电脑、办公终端及家庭电脑使用。
EDIUS 11 Windows版是一款面向影视制作、广播电视、纪录片、短视频及教育机构的专业非线性编辑工具，支持4K/8K、多格式混编、HDR调色、字幕、音频处理和后台渲染，并提供素材管理及丰富的导出预设。
FastStone Capture Windows版是一款轻量级屏幕捕捉、录屏与图像编辑工具，可截取窗口、区域、菜单和滚动页面，并提供标注、模糊、取色、OCR、录音录像及多格式导出能力，适合办公说明、教程制作和问题反馈。
Focusky Windows版是一款动画演示与交互课件制作工具，通过无限画布、缩放旋转镜头、模板素材和对象动画组织内容，可导入PPTX，并输出视频、EXE、PDF、网页等格式，适用于课堂教学、微课、商务汇报及产品展示。