高通AI研究院：当手机AI助手遇上云端大脑，谁来掌舵效果更好？

这项由高通AI研究院（Qualcomm AI Research）主导的研究，发表在2026年5月的ICML 2026 "Agents in the Wild: Safety, Security, and Beyond"研讨会论文集中，论文编号为arXiv:2605.30102v1。感兴趣的读者可以通过这个编号在arXiv上查阅完整原文。

先说一个核心问题，这件事可能比你想的更贴近日常：你手机里的AI助手，在处理一个复杂任务时，它到底是该完全在手机里“自己搞”，还是每次都把问题打包扔给千里之外的云端服务器？或者，有没有一种更聪明的玩法——让手机里的小模型和云端的大模型彼此打配合、取长补短？这篇论文就是想系统性地回答这个问题。

研究团队的方案搭建在一个颇具实验精神的框架上：他们设计并测试了两种不同的“云边协作”多智能体系统（Multi-Agent System，简称MAS）架构，在三个难度逐步递增的任务测试集上进行了详尽比较。目标很直接——找出在准确性、云端花费和设备耗电这三者之间，怎样达到最优平衡。

一、先搞清楚问题的由来：为什么一台AI不够用？

在正式介绍方案之前，有必要先理解，研究团队为什么会盯上这个问题。

现在最强悍的AI语言模型，比如GPT-4o，通常是泡在云端服务器集群里的。这些模型动辄数百亿甚至更多参数，对计算资源的要求极高。普通用户只能通过网络API调用，而且每次都得付费。单纯问答还行，但要是让AI连续执行几十步操作，那费用蹭蹭往上涨。更麻烦的是，很多人对把个人数据上传到云端心存顾虑，而云端服务偶尔也会掉链子——下线、限流，都可能造成不可预期的中断。

但硬币的另一面是，小语言模型（SLM）的能力这两年进步神速。一个参数在40亿到320亿之间的模型，完全可以塞进高端手机或普通笔记本。成本低、响应快、隐私风险小，但缺点是处理复杂、长流程任务时，能力依然明显弱于云端大模型。尤其受限于设备内存，它能处理的上下文长度远比云端模型短——这在需要记忆大量历史信息的长任务中是个硬伤。

所以，研究团队提出了一条新路子：混合多智能体系统。简单说，就是让设备上的小模型主要负责干具体的活，而云端的大模型只在关键时刻介入，提供指导或纠偏。这既省了云端调用的钱，又能在必要时借大模型的力量——打个比方，就像你平时自己查地图、自己开车，只有真迷路了才打电话给导航专家求助。

二、两种协作模式：大脑指挥手，还是手带着大脑走？

研究团队不是凭空画图纸，而是从现有的多智能体系统研究中，提炼出两种代表性协作模式——分别叫PEVR和EVA。想读懂整篇研究，得先搞明白它俩的区别。

第一种是PEVR，全称“规划—执行—验证—重规划”。在这个模式里，云端大模型扮演的是“项目经理”的角色：任务一开始，它先根据用户需求，生成一份详细的自然语言执行计划，比如第一步做什么、用什么工具、预期得到什么结果。然后，这份计划交给设备端的小模型去按步骤执行。小模型每走几步，云端大模型就检查一下进度——发现执行偏离了计划，或者小模型卡壳了，大模型就重新规划剩余步骤，下发给小模型。这个架构的核心特征在于：大模型不仅中途监督，还在最开始就把行动蓝图画好了。

第二种是EVA，全称“执行—验证—建议”。这个模式给了设备端小模型更多自主权：它拿到用户问题后直接动手，没有什么事先制定的详细计划。云端大模型会定期瞄一眼小模型的执行情况，但只有发现明显不对劲时才会介入。介入方式也和PEVR不同——不是甩出一份新步骤，而是先总结小模型之前干了什么、发现了什么，再给个下一步的大方向。与此同时，EVA有一个独特设计：大模型介入并给出建议后，小模型的记忆会被清空，重新从建议出发，免得被前头的历史错误信息带偏。

两种模式都满足了研究团队提出的四个核心设计原则：复杂费时的活放在设备端，省云端的钱；用户可以调“验证间隔”，控制大模型介入的频率，从而调控成本与性能的平衡；每次大模型介入后都会重置小模型的上下文，防止设备内存溢出。

三、测试擂台：从简单查资料到复杂操作手机应用

为了全面评估，研究团队选了三个难度递增的任务测试集，覆盖从短程推理到长程交互的广泛场景。

第一个是HotpotQA——要求AI读维基百科多篇文章，找到并综合不同来源的信息，回答一个需要“跳跃式推理”的问题。比如，“X电影的导演和Y电影的主演是不是同一个人？”这类任务流程短，几步就能搞定，主要考察基础信息检索和推理能力。

第二个是FanOutQA——可以看成HotpotQA的加强版。问题需要同时查多个相关实体的信息，并汇总聚合，比如“以下十个城市里，哪些在2020年人口超过500万？”这需要更长的推理链和更强的中间状态追踪能力。

第三个是AppWorld——难度最高，也最贴近真实场景。它模拟了一个拥有购物、邮件、支付、笔记等九个应用的虚拟手机生态。AI需要通过调用这些应用的API，完成多步骤、有状态的任务，比如“查看购物车总价，然后通过Venmo向朋友请求这笔钱”。任务不仅流程长，还有严格的状态检查——AI中途做错了，比如钱转错人，后果可能无法挽回。这个测试集最能体现长程任务中AI的规划、纠错和状态追踪能力。

模型选择上，云端大模型固定用GPT-4o；设备端选了Qwen3系列，4B、8B、14B、32B四个规格（数字越大模型越强，但也越吃资源）。4B和8B可以在手机上跑，14B和32B适合高性能笔记本。通过调整大模型介入的频率（验证间隔），研究团队系统地探索了不同配置下性能与成本的变化曲线。

四、意外收获：越多云端干预，不等于越好的结果

整体结论并不像人们直觉上想的那么简单。研究团队发现了几条颇为出人意料的规律。

首先，最直观的好消息是：混合架构确实有效。在所有测试场景里，都能找到某种MAS配置，效果优于纯设备端单体模型，同时成本低于纯云端单体模型。这表明云边协作本身是有价值的方向——设备端小模型确实能从云端大模型的协助中受益。

但第一颗“惊喜蛋”是：没有任何一种架构是所有任务上的最优解。PEVR在AppWorld上明显优于EVA，但在HotpotQA和FanOutQA上，情况反了过来——EVA表现更好，而PEVR有时甚至还不如纯设备端单体模型。这说明，架构的优劣高度依赖具体任务的性质，没有“放之四海而皆准”的方案。

第二个意外收获更反直觉：增加云端介入频率，并不总是提升性能，有时反而会明显造成伤害。在两种架构中，都存在一个“最优验证间隔”——当介入频率超过这个阈值，任务准确率反而开始掉头向下。这直接打破了很多人的直觉：大模型介入越多，结果越好？图样图森破。

为了揪出背后的原因，研究团队做了深入的机制分析。他们发现：在AppWorld这类需要严格按步骤执行、前期行动直接影响后续状态的任务中，PEVR的优势就在于它从一开始就给出了一份详细、明确的步骤计划。小模型只管按图索骥。相比之下，EVA没有初始计划，小模型需要自己摸索，更容易因早期操作失误而翻车，且往往难以挽回。

但在FanOutQA这类深度搜索任务中，情况正好相反。研究团队通过分析大量任务轨迹发现，PEVR的监督机制有个毛病——它倾向于“误报”。也就是说，它经常在小模型明明正常运行时，也触发干预重启。数据显示，在PEVR架构下，同一个任务中小模型被重复重启的情况相当普遍，而重启次数与任务成功率呈明显负相关。换句话说，PEVR的“过度积极介入”反而打断了小模型好不容易建立起来的推理脉络。相比之下，EVA的查询导向型监督更保守——只在真正有问题时才介入，对长程搜索任务更加友好。

五、一张误报率表格揭示的深层秘密

为了更精确地量化两种架构在监督决策上的差异，研究团队设计了一个巧妙的对照实验：让监督大模型正常运行并给出是否介入的判断，但实际上不执行任何介入操作，让小模型一路执行到底。这样一来，就可以事后对照大模型的判断和任务的实际结果，统计出误报率和漏报率。

结果非常清晰。在AppWorld上，PEVR的误报率是6.2%（大模型认为需要干预，但任务本可以成功），EVA的误报率只有1.9%。在FanOutQA上，PEVR的漏报率是8.4%，远低于EVA的14.8%——这意味着，当任务真的出了问题时，基于计划的监督更能准确察觉。但问题恰恰出在这儿：PEVR在FanOutQA上6.1%的误报率，对比EVA的7.7%，差距并不算太大，可一旦叠加上重启本身对长程推理的破坏性，就导致了PEVR在搜索类任务上的明显劣势。

这个发现揭示了一个微妙的设计原则：对于执行步骤明确、状态转移严格的任务（比如UI操作），激进的监督和频繁纠偏是有益的；而对于需要连续积累信息、构建长推理链的任务（比如深度搜索），保守的监督和避免不必要的重启，则更为重要。监督策略必须跟任务类型匹配，不能一刀切。

六、角色互换实验：把云端模型降为执行者会怎样？

研究团队还搞了个“反向配置”实验：让云端的GPT-4o当执行者，设备端的Qwen小模型当监督者。直觉上，这好像能借助云端大模型更强的执行能力来提升性能。但实验结果让人大跌眼镜——这种配置在所有测试任务上，效果都不如纯云端单体模型，成本却更高。

原因不复杂：云端大模型承担执行工作时，每一步推理都会产生大量输出token，API费用直线飙升；而且执行工作本身高度串行，云端高并发的优势完全发挥不出来。与此同时，设备端小模型的监督能力有限，没法有效识别何时需要干预。这个实验有力支持了一个核心设计原则：在混合系统中，执行工作应当在设备端进行，云端大模型的稀缺资源，该省下来用于高级决策。

七、混合系统是两个单体的简单叠加吗？

研究团队还用韦恩图分析了一个有趣的问题：混合MAS系统解决的任务，到底是不是纯设备端模型和纯云端模型能解决任务的简单并集？

答案是否定的。在所有三个测试集上，混合MAS系统都成功完成了一些既不是纯设备端模型、也不是纯云端模型能独立完成的任务。这证明混合协作产生了真正的“涌现能力”——系统的整体能力，超越了其组件能力的简单相加。与此同时，数据也显示，三种系统（纯设备端、纯云端、混合MAS）各有自己的擅长任务，没有任何一种配置能完全主导另外两种。这意味着一项重要的设计启示：理想情况下，一个真正聪明的系统，应该能根据具体任务的特点，动态选择最合适的协作模式，而不是只死守某一种架构。

八、节省内存这件事，比想象中重要得多

设备端部署AI模型时，内存是一道严峻的约束。小模型在处理长任务时，需要在内存里缓存大量“上下文”信息（也就是KV缓存，可以理解为AI的工作记忆）。一旦内存满了，性能会大幅下降，甚至直接崩盘。

研究数据非常直观。以纯设备端单体模型在AppWorld上运行为例：当最大允许步数从20步增加到80步时，Qwen3-8B的KV缓存峰值从3.52GB膨胀到了5.17GB。而且当步数达到80时，大约有20%的任务会因为上下文溢出而直接失败——任务成功率反而从最高时的0.02直接掉到0.00。混合PEVR架构的表现则完全不同：相同条件下，KV缓存峰值从3.34GB涨到3.82GB，增长幅度远小于单体模型；而且任务成功率随步数增加从0.07稳步提升到0.11，没有出现崩溃式下降。

背后的原因，就是之前强调的上下文重置机制。每次大模型介入并给出新的计划或建议后，小模型的历史对话记录就被清空了，重新从干净的状态出发。这既甩掉了积累的错误信息，也把工作记忆的占用量控制在了可管理范围内。研究团队还测算了实际部署中的内存占用：结合GPTQ量化方案，Qwen3-8B的权重加KV缓存总占用不超过6GB，完全在主流手机可用内存范围内；Qwen3-32B的总占用不超过16GB，适合高性能笔记本。这说明混合MAS架构在解决内存约束方面，具备实际可行性，而非纯粹的理论方案。

九、EVA的摘要功能：一把双刃剑还是秘密武器？

EVA架构有一个PEVR没有的特性：大模型在介入时，不仅给出建议，还会先对小模型之前做的事情进行总结压缩，然后把精简版的历史信息交给重启后的小模型参考。乍看之下，这似乎是EVA在深度搜索任务上表现优异的重要原因。

然而，研究团队专门做了消融实验来检验这个假设——结果出乎意料：去掉EVA的摘要功能后，EVA在FanOutQA上的表现几乎没有变化。这说明，EVA的优势并不来源于摘要功能本身，而主要来自它查询导向的监督逻辑（更少误报）以及建议式的介入方式（更温和的纠偏）。不过，摘要功能对降低KV缓存占用确实有贡献，因此在内存管理上仍有价值，但并非性能提升的核心驱动因素。

这个发现给研究者提了个醒：在多智能体系统设计里，那些直觉上看起来很有用的功能，实际效果需要严格的消融实验来验证。不能想当然地认为“更多功能=更好性能”。

说到底，这篇来自高通AI研究院的研究做了一件相当有意义的事：它没有简单喊口号说“混合AI是未来”，或者“云端大模型无所不能”，而是踏踏实实地测量、分析、对比，给出了一个诚实且细腻的答案。

核心结论可以用一句话概括：云边协作是可行的，但没有通用最优方案，架构选择必须跟任务类型严格匹配。对于需要精确按计划执行的操作类任务，由云端大模型制定详细计划并严格监督的PEVR架构效果更好；对于需要灵活探索、积累信息的搜索类任务，让设备端小模型自主发挥、云端大模型保守介入的EVA架构更合适。云端介入得越多，并不意味着越好——超过某个阈值后，反而会适得其反。

对普通用户而言，这项研究预示着未来的AI助手将可能更加智能地在设备本地和云端之间动态调度，而不是像现在这样非此即彼。你的手机AI或许有一天能在处理日常小任务时完全在本地运行，既快又保护隐私；而遇到真正棘手的复杂任务时，才向云端求援，获得恰到好处的指导。

研究团队也坦承，目前的研究还有一些局限：测试场景只涉及深度搜索和UI操作两类任务，云端模型只用了GPT-4o一种，为了控制实验成本也没有进行多轮重复实验。如何设计一个能根据任务特点自动选择最优协作架构的“元系统”，是研究团队明确点出的值得探索的未来方向。有兴趣深入了解技术细节的读者，可以通过arXiv编号2605.30102查阅完整论文。

Q&A

Q1：混合多智能体系统（Hybrid MAS）和普通AI路由系统有什么区别？

A：普通AI路由系统会把一个问题直接分配给云端大模型或设备端小模型中的一个来回答，两者没有协作。而混合多智能体系统不同——设备端模型和云端模型在同一个任务里扮演不同角色：设备端负责一步步执行，云端负责定期监督和纠偏。两者的分工不是“谁来回答问题”，而是“谁来执行、谁来指挥”，因此能产生超越单独任一模型的能力。

Q2：PEVR架构和EVA架构分别适合什么类型的任务？

A：PEVR（规划—执行—验证—重规划）更适合步骤明确、执行顺序严格、操作失误代价高的任务，比如操作手机应用完成多步骤指令。EVA（执行—验证—建议）更适合需要灵活探索、持续积累信息的搜索类任务，比如在多个网页中汇总信息回答复杂问题。关键区别在于：PEVR从一开始就提供详细计划，EVA让执行者自主发挥、监督者保守介入。

Q3：为什么增加云端AI的介入频率反而会降低任务成功率？

A：主要原因是不必要的“上下文重置”打断了AI正在构建的推理链。在搜索类任务中，AI需要连续积累多步信息才能形成完整判断。如果云端监督频繁介入并强制清空历史记录重新开始，即使每次重置都带来新的指导，也会让之前积累的有效信息白白丢失。实验数据显示，任务中被重启的次数越多，最终成功率越低——过度干预本身就是一种伤害。