新标题：北航团队提出具身智能新架构，实现大型无人机的操控
Air Explorer Pro是一款跨平台多网盘管理工具，可实现一站式完成不同网盘间文件的互传、搜索和同步等操作。任务管理和过程控制会更完整，持续下载、批量同步或需要稳定传输流程的场景会更适合它。
进入多模态时代，大模型也会操纵无人机了！当视觉模块捕捉到启动条件时，大模型这个“大脑”会生成动作指令，然后无人机可以迅速准确地执行周尧明教授领导的北京航空航天大学智能无人机团队的研究人员，提出了一种基于多模态大模型的具身智能体架构目前，这种结构已经用于控制无人机这种新的智能体表现如何，又有哪些技术细节呢？“智能体即大脑”研究团队利用大模型对多模态数据进行理解，将真实物理世界的照片、声音、传感器数据等多源信息融合，以使智能体能够感知周围环境，并作出相应的行为操作同时，团队提出了一套“AgentasCereb
进入多模态时代，大模型也会操纵无人机了！
当视觉模块捕捉到启动条件时，大模型这个“大脑”会生成动作指令，然后无人机可以迅速准确地执行
周尧明教授领导的北京航空航天大学智能无人机团队的研究人员，提出了一种基于多模态大模型的具身智能体架构
目前，这种结构已经用于控制无人机
这种新的智能体表现如何，又有哪些技术细节呢？
“智能体即大脑”
研究团队利用大模型对多模态数据进行理解，将真实物理世界的照片、声音、传感器数据等多源信息融合，以使智能体能够感知周围环境，并作出相应的行为操作
同时，团队提出了一套“Agent as Cerebrum，Controller as Cerebellum”（智能体即大脑，控制器即小脑）的控制架构：
智能体作为大脑这一决策生成器，专注于生成高层级的行为。 重写后的句子：作为大脑的决策生成器，智能体专注于生成高层次的行为
作为小脑的运动控制器，控制器的主要职责是将高层行为（如预期目标点）转化为低层系统命令（如旋翼转速）
具体来说，研究团队认为这一成果主要有三项贡献。
应用于实际的新型系统架构
研究团队提出了一种新的系统架构，可以应用于实际的机器人。该架构将基于多模态大模型的智能体具象化为大脑
而机器人运动规划器与控制器则被具象化为小脑，机器人的感知系统类比为人的眼、耳等信息收集器，机器人的执行机构类比为人的手等执行器。
△图1 硬件系统架构
这些节点通过ROS相连，通过ROS中消息的订阅与发布或服务的请求与响应实现通信，区别于传统的端到端的机器人大模型控制。
这一架构使得Agent可以专注于高层级命令的产生，对于高层级任务具备更强的智能性，对于实际的执行具备更好的鲁棒性和可靠性。
需要重写的内容是：△图2 软件系统架构 重写后的内容：软件系统架构如图2所示
新型智能体
在这一架构下，作者构建了作为大脑的一种智能体AeroAgent。
该智能体主要包括三个部分：
- 一个自动计划生成模块，具有多模态感知监测能力，同时擅长进行待机模式下的应急突发事件处理。
- 一个多模态数据记忆模块，可以用于多模态记忆检索和反思，为智能体赋予少样本学习能力。
- 一个具身智能动作模块，可以建立具身智能体与ROS上其他模块进行稳定控制的桥梁，这一模块提供了对于ROS上其他节点以操作为桥梁进行访问的能力。
同时，为了完成一个动作，可能需要多次交互操作以从传感器获取执行该动作所必需的参数，以确保智能体能够根据综合态势感知和所具备的执行器来稳定输出具体的行动
需要重写的内容是：△图3 AeroAgent模块架构 重写后的内容：△图3 AeroAgent 模块架构设计
连接大模型和ROS的桥梁
为了给具身智能体和ROS机器人系统建立桥梁，让Agent产生的操作能够正确地、稳定地发送给ROS并被其他节点成功执行，同时让其他节点所提供的信息让LMM能够读取与理解，团队设计了了ROSchain——
一个将LLMs/LMMs与ROS连接起来的桥梁
ROSchain通过一套模块和应用程序接口（APIs）简化了大型模型与机器人传感装置、执行单元和控制机制的集成，为智能体接入ROS系统提供了一个稳定的中间件。
为什么选择无人机
研究团队给出了三个原因，解释了为什么他们选择了无人机来进行该系统架构的测试和模拟
首先，如今LMMs中所蕴含的web-scale的世界知识，多为第三人称视角，人型机器人等领域的具身智能是类似于以人类为主体出发的第一人称视角。
无人机上的相机，尤其是下视相机，更像是第三人称视角（上帝视角）的有机体智能
另一方面，现阶段的LMMs无论是模型部署还是API服务，通常受限于计算资源导致响应有一定的延迟。
无人机的任务规划由于其可以悬停，具备应对延迟的能力，这对于自动驾驶等领域是一个应用的障碍
这两点都导致目前技术发展水平下无人机适合作为先驱进行相关理论与应用的验证。
第二，目前工业无人机领域，如山火救援、农林植保、无人放牧、电力巡检等，多由飞手与专家配合实际操作，智能化任务执行具有工业需求。
第三，从未来发展看，多智能体协同合作在物流、建筑、工厂等领域具备较为明显的需求。
而在这种领域中，无人机作为“上帝视角”的具身智能体，适合作为中央节点的领导者进行任务的分配，其他机器人可看作无人机的执行器的一环，所以这一研究也具有未来的发展前景。
团队使用airgen的仿真器进行了模拟实验，并同时选择了DRL等方式作为对照组。以下是实验结果：
在野外火灾搜救的情景中，AeroAgent在标准化分数下获得了100分的优异成绩，平均每步为2.04分
而单纯调用LLM或基于DRL的智能体都只获得了29.4分，平均每步0.2，不足AeroAgent的十分之一。
需要重写的内容是：△4-1号图，山火救援现场
在着陆任务中，AeroAgent也以97.4的总分和48.7的每步平均分超过了其他模型。
需要被改写的内容是：△图4-2 海上机坪着陆场景
而在风机巡检的测试中，AeroAgent直接成为了唯一能完成该任务的模型。
△图4-3 风力电机巡检场景
在导航任务上，AeroAgent 4.44每个步骤的分数分别为DRL和纯LLM的40倍和近10倍
需要重新写的内容是：△图4-4 Airgen仿真实验
团队还在真实场景中进行了无人机系统的测试，以一个简单的受困群众引导实验为例进行了案例研究。
需要进行改写的内容是：△ 图5 引导受困群众案例实验
团队目前正以这一工作为基础，在某高原牦牛牧场进行无人放牧智能无人机的实验，探索其实际应用的可能性，并将以“予智能以具身”为目标，进行其他机器人/多机器人合作的智能体落地应用探索。
论文地址：https://arxiv.org/abs/2311.15033
Postman是一套面向API全生命周期的开发与测试平台，可在Mac上发送和调试多种协议请求，管理集合、环境及认证信息，并完成脚本测试、模拟服务、监控、文档发布和团队协作。它适合开发、测试及运维人员使用，提供个人免费方案。
Docker Desktop 是 Docker 官方为 Mac 提供的容器开发环境，集成 Docker Engine、命令行工具、Compose、Build、Kubernetes 与图形化管理界面。
Android Studio 是 Google 面向安卓应用开发提供的官方集成开发环境，基于 IntelliJ IDEA 构建。它整合智能代码编辑、Gradle 构建、界面预览、设备模拟、性能分析、调试测试及 APK 分析等工具。
Xcode 是苹果面向 Mac 提供的官方集成开发环境，将代码编辑、项目构建、SwiftUI 实时预览、设备模拟、自动化测试、断点调试、性能分析和应用分发整合在同一套工作流中，适合开发与维护 iPhone、iPad、Mac、Apple Wa
JetBrains WebStorm 是面向 JavaScript、TypeScript 和现代 Web 技术的专业集成开发环境，可智能理解项目结构，提供代码补全、重构、错误检查、运行调试、测试及 Git 工具。
PhpStorm 是 JetBrains 推出的专业 PHP 集成开发环境，可在 Mac 上完成代码编写、智能检查、重构、调试、测试和数据库管理。它支持主流 PHP 框架、Composer、Git、Docker 与远程解释器。
JetBrains PyCharm 是面向 Python 开发者的集成开发环境，提供智能补全、代码检查、重构、调试、测试、版本控制及虚拟环境管理功能。Mac 版兼容 Intel 与 Apple 芯片，核心功能可免费使用。
IntelliJ IDEA 是 JetBrains 推出的专业集成开发环境，重点服务于 Java、Kotlin 与 JVM 项目开发。软件集成代码补全、静态检查、重构、调试、测试、版本控制及构建工具，并可借助插件扩展语言和框架支持。
Visual Studio Code 是微软提供的免费代码编辑器，支持 macOS，并为 Intel 与 Apple 芯片 Mac 提供适配版本。软件集代码编辑、调试、Git 源代码管理、集成终端和扩展市场于一体。
REAPER是Cockos开发的数字音频工作站，提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片，支持AU、VST、VST3、CLAP等插件格式，并提供高度可定制的工作流程。
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Pro Tools 是 Avid 推出的专业数字音频工作站，覆盖多轨录音、无损剪辑、MIDI 编曲、插件处理、自动化混音及声音与画面同步等工作。它拥有 Intro、Artist、Studio 和 Ultimate 等方案。
PixPix 是面向品牌、卖家和内容团队的在线 AI 图片视频创作平台，提供图视频 Agent、无限画布、图片生成、视频生成、自然语言编辑及商品套图、产品精修和带货视频等电商工具。
Postman 是面向 API 全生命周期的开发与协作平台。Windows 桌面版可用于构建和发送 HTTP、GraphQL、gRPC、WebSocket、MQTT 等请求，并提供环境变量、集合、脚本测试、模拟服务、监控、文档及团队工作区等
Docker Desktop 为 Windows 开发者提供集成式容器环境，内置 Docker Engine、命令行工具、Compose、Build 与 Kubernetes 等组件，可在本机完成镜像构建、容器运行、日志查看和资源管理。
Android Studio 是 Google 面向 Android 应用开发提供的官方集成开发环境，以 IntelliJ IDEA 为基础，集成智能代码编辑、Gradle 构建、设备模拟、界面预览、调试测试及性能分析工具，
WebStorm 是 JetBrains 面向 JavaScript、TypeScript 和现代 Web 技术打造的集成开发环境。它提供项目级代码分析、智能补全、安全重构、导航搜索，并集成调试、测试、终端、Git 与常用前端工具，
PhpStorm 是 JetBrains 面向 PHP 与现代 Web 开发打造的专业集成开发环境，提供代码补全、静态检查、重构、调试、测试、数据库、版本控制及前端语言支持。Windows 用户可直接下载安装程序，
PyCharm 是 JetBrains 推出的 Python 集成开发环境，提供智能代码补全、错误检查、重构、调试、测试、Git、终端及 Jupyter Notebook 支持。统一版安装后可体验 30 天 Pro 功能，
JetBrains IntelliJ IDEA 是以 Java、Kotlin 和 JVM 项目为核心的专业集成开发环境，提供智能补全、代码检查、安全重构、调试、测试、版本控制及构建工具集成。统一发行版的核心功能可免费用于商业和非商业项目，
Visual Studio Code 是微软推出的免费代码编辑器，Windows 版集成智能补全、代码导航、调试、终端和版本控制，并可通过扩展添加语言、格式化及远程开发能力。它启动较快、配置灵活，
REAPER 是 Cockos 推出的数字音频工作站，适用于录音、MIDI 编曲、音频编辑、混音、母带制作及声音设计。软件安装包小巧，支持多轨录制、灵活路由、自动化、第三方插件和脚本扩展，并提供完整功能的 60 天免费评估期。
Adobe Audition 是面向播客、影视后期、广播与音乐制作的专业音频工作站，提供波形编辑、多轨混音、频谱分析、录音、降噪修复和效果处理等功能。Windows 版通过 Adobe Creative Cloud 安装和管理，
Pro Tools 是 Avid 推出的专业数字音频工作站，提供多轨录音、音频剪辑、MIDI编曲、插件处理、自动化混音及影视声音制作能力。它适合音乐人、录音师、制作人和音频后期团队使用，并提供免费入门版、订阅方案及永久授权选择。