当智能助手学会"看图办事":上海交大让AI拥有了真正的视觉技能包

我们每天操作电脑时，有一个能力几乎被视为理所当然：看一眼屏幕，就知道该点哪里、下一步做什么、事情做对了没有。这种“看着办”的本事，对人类来说轻而易举，但对于试图模仿我们的AI助手而言，却是一道巨大的鸿沟。

近期，一项由上海交通大学、小红书公司与东南大学合作完成的研究，为跨越这道鸿沟提供了新思路。研究团队提出了一套名为“MMSkills”的框架，旨在教会AI如何像人一样，结合视觉信息来执行任务。这项研究已发表于arXiv预印本平台（论文编号：arXiv:2605.13527v2）。

要理解这项工作的价值，得从一个普遍痛点说起。目前，许多AI助手已经具备了一些预设的“技能”，你可以把它们想象成贴在厨房墙上的文字菜谱。对于煮泡面这类步骤固定的事，文字菜谱够用了。但一旦遇到像“判断牛排几分熟”这种需要观察颜色、油花和汁水的复杂任务，光靠文字描述就束手无策了。AI在操作图形界面时，面临的正是后一种困境——它可能“知道”要点击保存按钮，却“认不出”屏幕上哪个是保存按钮，或者无法判断一个弹窗是否已经加载完毕。

研究团队意识到，对于需要在视觉环境中“看着办”的AI，一份纯文字说明书是远远不够的。必须为它准备一份“图文并茂的操作手册”，不仅要说明动作步骤，更要指明需要关注哪些视觉线索、如何判断任务进度、以及怎样确认操作成功。

一、当文字菜谱遇上视觉难题

设想一个常见场景：你让AI在电子表格软件里创建一个图表，要求放在第二个工作表，并将标题命名为“销售与成本”。听起来简单，但传统的AI助手很容易在这里翻车。

如果完全不给指导，AI可能直接在当前打开的第一个工作表上就把图表画了——位置完全错误。如果给它一份纯文字步骤说明，告诉它“打开图表向导，选择柱状图……”，AI会机械执行，但仍然不知道自己在哪个工作表上操作，结果依然错误。

但如果提供的是一份带图的操作手册，情况就不同了。手册里除了步骤，还附有关键时刻的屏幕截图，告诉AI“看到这个界面时该这么做”、“操作完成后屏幕应该长这样”。AI拿着这份手册，对照实时屏幕，就能明白：哦，需要先把图表剪切下来，切换到第二个工作表粘贴，最后还得检查标题是否正确。任务由此顺利完成。

这个例子揭示的核心问题是：如何将这种依赖视觉判断的“经验”，打包成可重复使用、可迁移的“知识包”？

二、一个完整技能包里都装了什么

研究团队设计的多模态技能包，很像一份精心编排的旅行攻略，由几个有机融合的部分构成。

最基础的部分是一段文字描述的操作流程，相当于攻略里的路线说明。它勾勒出技能的骨架，告诉AI每个步骤该执行什么操作。

但光有路线不够，攻略里还得有“路标”。这就是该研究的一大创新——“状态卡片”。每张卡片记录了几条关键信息：这个技能应该在什么情况下使用、什么情况下不适用、当前应该关注屏幕上的哪些视觉特征、如何验证操作已到达正确状态，以及有哪些可选的参考画面。简单说，状态卡片就像在告诉游客：“当你看到左前方那家挂着红灯笼的餐馆，说明已到达老城区入口，此时应该右转；但如果看到的是连锁咖啡店，那说明你走错了方向。”

再往上一层，是关键画面的图片集合。每个重要状态都配有多张不同视角的参考图：完整画面展示整体环境，局部特写聚焦关键控件，“操作前”与“操作后”的对比图则清晰呈现了变化过程。这好比攻略上不仅有地标全景照，还有细节特写，甚至包含了昼夜景观的对比。

需要强调的是，这些参考图并非让AI照搬坐标点击的模板，而是帮助它识别和定位的视觉线索。AI最终的每一个具体操作，仍需基于对真实屏幕的实时分析。

三、从公开数据里“提炼”技能的妙招

那么，这些精美的“图文攻略”从何而来？研究团队设计了一套自动化流程，能够从公开的电脑操作录像中“提炼”出技能包。整个过程宛如五道精密工序。

首先是分类整理。系统将海量操作录像按任务相似性进行聚类，就像把食材按菜系分门别类。例如，所有与浏览器相关的操作归为一类，所有与表格软件相关的归为另一类。

其次是规划技能蓝图。在每一类任务中，一个AI“规划师”会浏览这些录像，识别出反复出现的有用动作模式，并初步规划出一份份技能蓝图，界定每个技能的起止边界和完成条件。

接着是合并去重。同一个技能可能在不同录像中以略微不同的形式出现，系统会将这些相似的蓝图合并，同时剔除那些过于宽泛、几乎适用于任何任务的“万金油”技能。

然后是撰写文字稿。系统先不参考任何图片，仅依据文本信息撰写每个技能的描述、操作步骤和状态卡片的初稿。这类似于作者先完成小说大纲，再考虑配图。

最后才是配图与审核。此时，系统才会去查看相关的屏幕截图，精心挑选那些真正具有诊断价值的画面——通常是标志关键状态转变、需要视觉验证的时刻——并将它们匹配到对应的状态卡片旁。配图原则极其克制：只有在文字确实无法说清时才添加图片，绝不为了堆砌而堆砌。

这套流程有一个关键特点：所有用于提炼技能的录像数据，都与后续测试任务完全分离。这确保了技能包并非通过“考前漏题”获得，而是从无关数据中提炼出的、真正具备可迁移性的经验。

四、使用技能时的“分身术”

制作出好的技能包只是第一步，如何让AI在实际工作中恰到好处地运用它们，是另一个挑战。

最直观的做法是将整个技能包直接塞给AI，让它边看边做。但研究发现，这会引发一系列问题。技能包通常包含多张状态卡片和参考截图，全部加载会导致AI的“工作记忆”过载。更麻烦的是，AI很容易被参考截图“带偏”——它会执着于参考图中某个按钮的历史位置，而非关注当前屏幕的实际情况，就像拿着过时的地图开车，对路况变化视而不见。

对此，研究团队想出了一个巧妙的办法，称之为“分支加载”。可以将其理解为AI的“分身术”：当主AI在工作中遇到需要参考技能的时刻，它不会亲自去翻阅整本手册，而是召唤一个临时的“分身助手”专门处理此事。

这个分身助手分两步工作。第一步，它先快速扫描当前屏幕和近期操作历史，判断是否需要参考图片，以及具体需要哪几张。如果认为文字说明已足够，就不调取任何图片；若需要看图，则只挑选最相关的几张。第二步，分身将挑选出的参考图与文字状态卡片结合，仔细对照当前屏幕，最终向主AI回传一份精炼的“决策建议”——告知该技能是否适用、下一个子目标是什么、具体行动计划、有哪些潜在陷阱以及完成后如何验证。

主AI收到建议后，将其作为重要参考，但最终的具体操作决策，仍基于眼前真实的屏幕信息做出。这样，AI既享受了技能包提供的智慧指引，又避免了被静态参考资料束缚手脚。

五、实战检验：从办公软件到游戏世界

为了全面检验MMSkills框架的效果，研究团队选择了四个差异显著的测试场景。

OSWorld是主战场，包含360个真实的Ubuntu桌面操作任务，覆盖浏览器、办公软件、图像处理等十大类应用。macOSWorld则将战场移至苹果系统，包含143个任务。VAB-Minecraft把测试拉进《我的世界》游戏，让AI完成各种制作任务。Super Mario Bros则更进一步，让AI挑战经典的超级马里奥游戏。

测试结果令人鼓舞。在OSWorld这个最严格的测试平台上，所有被评估的AI模型在引入MMSkills后，表现均有提升。表现最强的Gemini 3.1 Pro，任务成功率从44.08%提升至50.11%；Gemini 3 Flash则从36.65%跃升至47.97%。提升最为戏剧性的是阿里通义千问的Qwen3-VL-235B模型，其成功率从21.34%几乎翻倍，达到39.17%。而对于较小的Qwen3-VL-8B-Instruct模型，提升幅度更为惊人——从仅10.78%飙升至25.40%。这个现象很有意思：能力相对较弱的AI，从外部视觉指导中获得的帮助反而更大，恰如新手厨师比经验丰富的大厨更需要详细的食谱。

值得注意的是，纯文字版本的技能在某些场景下也有帮助，但效果远不如完整的多模态版本稳定，有时甚至在特定应用上会出现性能倒退。这印证了研究团队的判断：当任务高度依赖视觉状态判断时，仅有文字描述是远远不够的。

跳出桌面环境，效果同样亮眼。在macOSWorld上，使用MMSkills的Gemini 3 Flash将整体成功率从55.94%提升到65.73%。在《我的世界》游戏中，所有模型的成功率和平均得分均得到提升。在超级马里奥关卡里，AI的总体表现分和获得奖励数也显著上涨。这表明，这套技能框架并非只适用于特定电脑环境，而是能帮助AI在各种需要“看图办事”的场景中表现得更好。

六、拆解每个零件的作用

为了厘清MMSkills框架中哪些设计真正发挥了作用，研究团队进行了一系列消融实验，就像拆开机器观察每个齿轮的功能。

尝试移除技能包中的“状态卡片”，只保留文字流程和图片，结果性能明显下降——状态卡片在判断“此时是否该使用此技能”上扮演着关键角色。接着，尝试保留状态卡片但移除图片，性能同样下滑——图片对于在屏幕上定位关键元素不可或缺。这两项实验共同证明，文字流程、状态卡片和视觉证据三者如同三足鼎立，缺一不可。

关于“分支加载”使用方式的实验更有意思。如果将整个技能包直接塞给AI，其性能反而比完全不使用技能还要差——信息过载把AI“撑着了”。即使配备了视图筛选机制但仍直接加载，效果也只是回归基线水平。只有当采用完整的两步分支机制——先筛选、再分析、最后回传建议——才能取得最佳效果。

七、AI行为方式的悄然转变

除了成功率的表面数字，研究团队还深入分析了使用MMSkills后AI“行为习惯”的变化，发现了一些有趣的现象。

首先是技能调用频率的提升。配备多模态技能后，AI更倾向于主动参考技能。在Qwen3-VL-235B模型上，OSWorld任务中调用技能的比例从37.50%大幅上升至65.28%。这说明多模态技能不仅更好用，AI也更容易识别出“此时适用此技能”的时机。

其次是任务完成步骤的减少。文字技能有时反而会让AI多走弯路，而多模态技能在每一个测试场景中都缩短了平均操作步数。Qwen3-VL-235B在OSWorld上的平均步数从15.22步降至9.87步，减少了超过三分之一。这意味着AI找到了更高效的解题路径，不再像无头苍蝇般盲目尝试。

第三个发现关乎视觉证据的选择。分支助手并非加载所有图片，而是表现出明显偏好——在四个测试场景中的三个里，“局部特写”是被选用最多的视图类型。这符合直觉：大多数时候，AI需要的是“那个按钮在哪里”这类局部信息，只有在需要理解整体布局或验证变化时，才需要全屏或前后对比图。

更深入的行为分析揭示了一些根本性变化。使用MMSkills后，AI执行的低级操作总数明显减少。以Qwen3-VL-235B为例，它原本75.8%的动作都是点击，使用技能后这个比例下降至63.7%，而键盘输入和“完成”动作的比例相应上升。这表明AI从盲目点击的模式，转向了更有条理的输入和更明确的完成判断。

重复无效操作也大幅减少。同一个模型，原本21.8%的动作是重复操作，使用MMSkills后这一比例骤降至6.2%。AI不再陷入“反复点击同一位置却毫无进展”的尴尬循环。同时，“完成”动作的使用频率上升，说明AI更清楚地知道任务何时才算真正结束——这得益于状态卡片中提供的验证线索。

八、两个真实任务的现场直击

研究团队展示了两个具体任务案例，以说明MMSkills的实际工作方式。

第一个案例是在表格软件中创建销售汇总表。任务要求创建一个名为Sheet2的新工作表，并填入月份和总计两列数据。AI首先意识到当前位于Sheet1，需要先创建新工作表，于是召唤分支助手参考“工作表管理”技能。分身助手挑选了几张关于工作表切换的局部特写图，对照当前屏幕后建议主AI：“先创建Sheet2，不要在Sheet1上直接输入数据”。主AI随即创建新工作表并输入表头及月份。当需要填入总计公式时，AI又召唤了第二个技能——“公式与函数”，这次分支助手判断无需参考图片，直接给出了文字指导。最终，AI成功使用SUM公式从Sheet1引用数据，全程仅用8步动作。

第二个案例发生在终端命令行中，任务是将30天前的旧文件压缩到一个文件夹，并将新文件移至另一个文件夹。AI最初尝试的find命令在终端输入时出现了语法问题。意识到不对劲后，AI召唤“文件夹管理”技能，分支助手判断终端任务无需看图，直接用文字建议“使用更稳健的命令格式”。AI修正命令后成功完成了文件移动。随后在需要压缩归档时，AI又调用了不同的“归档压缩”技能，最终顺利完成任务并验证了结果。

这两个案例生动展示了MMSkills的工作流：AI在不同阶段调用不同的技能，分支助手智能判断是否需要图片证据，最终AI综合所有信息做出决策。

九、与已有方法的对比

在AI助手领域，“技能”的概念并非全新。早期研究主要将技能表达为文字提示或可执行代码，例如让AI学会“打开网页搜索”这类操作。后来出现了更精细的方法，有的将技能存储为可调用的API函数，有的构建技能执行图，有的让多个AI协作进化出共享技能库。

与本研究最接近的几项工作各有侧重。Mirage-1引入了层次化的多模态技能用于图形界面控制，XSkill从视觉化操作经验中持续提取技能，CUA-Skill将计算机操作技能表达为带参数的过程和执行图。MMSkills与这些工作的关键区别在于：它围绕“运行时状态卡片”和“多视角视觉证据”来组织技能，并通过“分支加载”机制，将选中的证据与当前屏幕对齐后再指导主AI行动。换言之，它不仅关注“动作怎么做”，更强调“什么时候做、看到什么才做、做完怎么验证”。

十、这一切对普通人意味着什么

归根结底，这项研究瞄准的是一个非常实际的目标：让AI助手在帮助人们操作电脑、玩游戏或处理各种视觉任务时，变得更加可靠、更少犯那些“低级错误”。

从日常生活层面看，这意味着未来的AI助手或许真能帮你完成那些繁琐且需要“看着办”的工作——整理复杂表格、修图、安排日程、甚至通关游戏关卡。它们不会因为找不到按钮而反复乱点，不会因识别不出弹窗状态而傻等，也不会在任务做到一半时还不确定是否完成。

对于AI研究者而言，这项工作提供了一个新视角：AI助手可重复使用的经验，不应仅仅是文字说明书或代码模板，而应该是与视觉证据紧密绑定的“图文操作指南”。这种思路打破了过往技能体系过度依赖文本的局限。

当然，研究团队也坦诚指出了当前方法的局限。这套方法依赖于源数据的覆盖范围——如果某类任务在公开数据中很少出现，提炼出的技能就可能不够完善。技能生成过程和视觉定位也可能出错。分支加载机制虽然提升了准确性，但也增加了一定的推理成本。要将此方法推广至更广泛的具身AI或安全敏感场景，还需要更强的验证机制和在线修复能力。

说到底，这项研究揭示了一个朴素却关键的道理：要让AI真正学会“看着办”，仅提供文字说明是远远不够的。就像教孩子做菜，光给菜谱不行，还得让他看着师傅操作、观察锅中食材的变化、知道什么颜色才算炒好了。AI的进步，或许就藏在这些看似细微、实则至关重要的“图文配合”之中。

Q&A

Q1：MMSkills和传统的AI技能包有什么区别？

传统AI技能包主要用文字或代码描述操作步骤，好比纯文字菜谱。而MMSkills是图文结合的技能包，除了文字流程，还包含“状态卡片”和多视角参考截图。状态卡片告诉AI何时该用此技能、何时不适用、以及看到何种画面才算做对。这让AI不仅知道做什么，还知道该看什么、如何判断进度。

Q2：分支加载机制是怎么工作的？

当AI在执行任务中遇到需要参考技能的情况时，它不会亲自翻阅整本技能手册，而是召唤一个“临时分身”专门处理。这个分身先判断是否需要看图、看哪些图，然后将挑选的参考图与当前屏幕进行比对，最后向主AI回传一份精炼建议——告知技能是否适用、下一步做什么、需避开哪些陷阱。这样既获得了技能帮助，又避免了被参考图误导。

Q3：MMSkills实际效果如何？

在OSWorld桌面任务测试中，所有被测试的AI模型表现均有提升。例如，Qwen3-VL-235B的成功率从21.34%几乎翻倍至39.17%；较小的Qwen3-VL-8B模型则从10.78%提升至25.40%。在《我的世界》和超级马里奥游戏测试中也有显著提升。AI不仅成功率更高，完成任务所需的步骤也更少，重复无效操作大幅减少。