当AI"学会"了工作流程，它还能把经验带到新岗位吗？

先从一个常见的职场场景说起。你是一位刚入职的会计，头一天处理报销单时，流程不熟，每一步都得翻手册。一周之后，这套流程你已烂熟于心，速度快了三倍，出错率也直线下降。更关键的是，当你被调去处理另一种单据时，之前积累的经验——比如“先核对日期”、“注意金额上下限”——依然能派上用场，不需要再从零开始摸索。

但现在的AI助手（也就是大型语言模型，LLM）恰恰缺少这种“积累经验”的能力。每次开启新对话，它都像第一天上班的新员工，对你之前交代过的任何任务毫无印象。这放在企业日常工作中，简直就是一种资源浪费——你每一次都得手把手教它处理Excel、写SQL、做演示文稿。

这正是“程序性记忆”这个概念被提出的原因。通俗地说，就是把“做某件事的步骤和技巧”打包成一份可复用的操作手册，让AI下次执行类似任务时直接调用，不再需要从头摸索。就好比把公司的报销流程写成SOP，放进共享文件夹，谁都能照着做。

但问题没那么简单。一份为会计部门量身定做的报销手册，拿到人力资源部门审核合同，还能直接套用吗？一个AI助手摸索出来的操作指南，换一个不同的AI还能用吗？这些“经验说明书”的通用性到底有多高，之前从来没有人系统地研究过。

这正是这项研究要回答的核心问题。

一、打造一个“职场模拟器”——AFTER基准测试诞生记

要研究AI的程序性记忆能否跨场景复用，首先得有一个足够逼真的测试平台。研究团队为此专门构建了一套名为AFTER（Agent Framework for Task and Experience Reuse）的基准测试系统，包含382个真实职场任务。

这382个任务覆盖了六种典型的技术岗位角色。数据工程师（DE）负责数据流水线的搭建和维护；数据科学家（DS）处理统计分析和机器学习任务；生成式AI工程师（GenAI）专注于大语言模型的应用开发；基础设施工程师（Infra）管理云端部署和服务器配置；项目经理（PM）负责商业文档和报告的撰写；软件工程师（SWE）编写应用程序代码。

这六种角色的设计颇有讲究，它们制造出一种有趣的张力：同一项技能在不同岗位上，用途可能截然不同。比如处理PDF文件，数据工程师用它提取发片上的数字，生成式AI工程师用它把文档导入知识库，项目经理则用它生成给高管的摘要报告。同样都是“读取PDF”，但具体操作方式和关注重点大相径庭。

在技能分类上，研究团队梳理出22个程序性技能，归为五大领域：文档处理（包含PDF、Excel、Word、PowerPoint等文件操作）、数据操作（SQL查询、数据验证、流水线构建、统计分析）、机器学习与AI（事务处理、事实核查、模型训练、检索增强生成等）、基础设施管理（配置文件、容器化、Terraform、调试）以及软件工程（API开发、测试、代码重构）。

任务的来源同样经过精心设计。56个任务改编自现有的13个公开基准测试，包括SkillsBench、SWE-bench等业界知名测试集；38个任务由研究团队成员根据自身实践经验亲手编写；另外288个任务则通过多轮AI辅助生成并经过专家审核。所有任务都经过了严格的质量把关，包括清晰度检验、技能适配性检验、真实性检验、验证器健壮性检验以及防“作弊”检验——确保AI无法通过读取任务描述中的隐藏提示来蒙混过关。

每个任务的格式也高度标准化：一份描述真实职场需求的说明文件，一些模拟真实工作常见格式的输入文件（如Excel表格、CSV数据、JSON配置），以及一套自动化的pytest测试程序来客观评判任务是否完成。这套设计让评判标准客观统一，不依赖人工主观打分。

与现有主流AI测试平台相比，AFTER的独特之处在于它是唯一一个同时具备岗位结构、技能标注和跨场景迁移测试分组的综合平台。相比之下，GAIA有466个任务但没有岗位结构；SWE-bench有2294个任务但只面向一种岗位角色；SkillsBench有技能标注但只有85个任务且没有迁移测试；WebArena和MLE-bench同样缺乏AFTER所具备的这种系统性的迁移评估能力。

二、衡量“经验说明书”价值的尺子——两种测量维度

研究团队提出了两个关键维度来量化程序性记忆的价值，这相当于用两把不同的尺子来衡量一份操作手册的好坏。

第一把尺子叫“专一性”（Specificity），衡量的是：这份手册在它原本设计的那类任务上，到底有没有帮上忙？相当于问一个新员工：“你按照这份SOP操作，比没有SOP时表现好多少？”

第二把尺子叫“通用性”（Generality），衡量的是：这份手册能不能在它设计的场景之外依然有效？相当于问：“把这份SOP拿给另一个部门用，他们还能从中受益吗？”

在具体的数字层面，研究团队定义了两个评分指标。M1衡量的是任务的“部分完成度”——AI做完了多少比例的测试项目，即使没有全部做对，局部进展也会被记录在案。M2衡量的是“完整通关率”——只有当AI完美通过任务的所有测试项目时才计分，严格区分“差不多做到了”和“完全做对了”。论文主要以M2作为核心评价指标，因为职场上“差不多”往往意味着返工。

这套双维度评估框架揭示了一个核心矛盾：一份手册可能在专一性上表现出色（在原本的任务上提升显著），却在通用性上一塌糊涂（换个场景就失效甚至帮倒忙）。这种情况被称为“过拟合”，就像一位只会按固定模板填写报销单的员工，一旦遇到格式略有不同的单据就手足无措。

三、现成说明书测多少分——静态技能的基础价值

研究团队首先做了一个“冷启动”实验：不让AI积累任何额外经验，只给它提供两种类型的现成手册，看看能提升多少表现。

第一类是“手工编写版”（H）：由领域专家根据具体工作场景亲手撰写的操作指南，针对特定任务设计，简洁精准但覆盖面有限。第二类是“AI生成版”（G）：由前沿大语言模型自动生成的综合性操作参考手册，覆盖面广，包含多种场景下的处理方法和代码示例。

实验结论颇为耐人寻味。从整体来看，配备技能手册的AI比没有手册时平均提升了2.8个百分点的完整通关率。这看起来不多，但考虑到没有任何额外训练、只是多给了一份说明，这个提升相当于让一个生手在没人指导的情况下凭一本操作手册就能提升工作质量。

更有意思的是，AI生成版手册（G）在多数情况下比手工编写版（H）表现更好。这说明，AI自己草拟的那种宽泛参考手册，在实用性上并不比人工精心设计的专项指南差，甚至更胜一筹。这对于那些希望自动化生成操作指南的企业来说，是个令人振奋的发现。

此外，手册对不同能力的AI助手的帮助程度差异巨大。能力较弱的小模型从中获益最大——比如Gemma 4 E4B这款小型AI在处理生成式AI工程师任务时，有了手册后完整通关率提升了惊人的14.2个百分点。而顶级的大模型（如GPT 5.4）则获益有限，只提升了3.1个百分点。这符合直觉：本来就什么都懂的顶级选手，多给一本入门手册帮助有限；但对于能力有限的新手，一本好的操作指南可能改变一切。

按岗位来看，数据科学家和生成式AI工程师受益最多，而数据工程师和软件工程师受益相对较少。原因在于后两类岗位的任务本身偏重纯代码编写，AI在这方面本来就已经表现不错，额外的手册提升空间有限。

四、把说明书“迭代优化”一次——单轮改进的惊喜

仅仅提供现成的手册只是第一步。研究团队接下来测试了一个更进一步的问题：如果让AI看过实际执行任务的记录（哪里做错了、哪里做对了），然后用这些经验来修改现有手册，能提升多少？

这个过程就像一位经验丰富的导师看了你按手册操作的录像，然后帮你修改手册：把描述不清的地方写得更明白，把缺失的关键步骤补上，把多余的冗余内容删掉。

实验结果显示，仅仅经过一轮这样的优化，AI的整体表现就提升了3.7到6.7个百分点，具体数字取决于AI助手本身的能力水平。能力越强的大模型，从这种优化中受益越稳定：最大规模的Qwen 3.5-122B（一款大型AI助手）在基础设施工程师任务上提升了7.1个百分点，在软件工程师任务上提升了6.5个百分点。

值得注意的是，这还只是一轮改进，不是多轮迭代。换句话说，只需给AI一次“复盘会议”的机会，让它看看自己哪里出了问题并修改操作手册，效果就已经相当可观。对于企业应用来说，这意味着相对较低的成本就能带来实质性的效率提升。

五、让说明书通过实战演练进化——框架对比与“窄经验”的陷阱

进一步的研究探讨了不同的记忆更新框架在多轮实战演练中的表现差异。研究团队测试了五种不同的程序性记忆系统：Codex（由GPT-5.5驱动的代码助手）、Hermes（基于结构化YAML蓝图的多智能体框架）、Memento（具有行为可训练路由器的结构化记忆系统）、MemP（将轨迹提炼为细粒度步骤指令的记忆系统）以及EvoSkill（通过失败验证反馈迭代精炼技能的系统）。

所有框架都在两种条件下接受测试：窄体验条件（只看1个任务的执行记录）和宽体验条件（看5个不同任务的执行记录）。测试的核心问题是：在训练任务上的提升，能不能迁移到从未见过的新任务上？

结果揭示了一个令人警醒的规律：在训练任务上取得大幅提升，并不等于在新任务上也能同样表现出色。用一个生活化的比喻来说，这就像一个厨师反复练习同一道菜直到炉火纯青，但当客人要求换一道菜时，他却发现自己之前积累的全是针对那道特定菜品的习惯，对新菜的帮助反而有限，甚至会带来干扰。

具体来看，Hermes框架在宽体验条件下表现最为突出，测试集提升达到18.0个百分点，显示出真正的技能泛化能力。MemP在训练集上提升显著（13.9个百分点），但测试集只有2.5个百分点的提升，暴露出明显的过拟合倾向。EvoSkill在训练集上同样提升明显（14.9个百分点），但在测试集上反而出现了负增长（-2.7个百分点），说明它优化出的操作步骤太过“量身定制”，换个场景反而帮了倒忙。

这个现象正是论文标题图（图1）所展示的“技能进化地图”：横轴代表在训练任务上的提升（专一性），纵轴代表在测试任务上的提升（通用性）。理想状态是右上角——既专一又通用。窄体验条件下进化出的技能往往落在右下角——专一但不通用，即所谓的“过拟合”区域。只有宽体验条件才能将技能推向真正理想的右上角区域。

六、跨越“模型鸿沟”——谁的经验最有营养价值

AI世界里有一个有趣的现实问题：不同的AI助手（比如GPT、Claude、Gemma等不同品牌和版本的AI）各有千秋，企业可能今天用这个、明天换那个。那么，一份由某款AI助手通过实战经验优化出来的操作手册，换给另一款AI助手用，还有效吗？

这个问题的答案直接关系到操作手册的“保质期”和“可移植性”。如果每换一个AI助手就要重新积累经验、重新优化手册，成本未免太高。

研究团队通过一组专门的跨模型实验来回答这个问题。他们分别用四种不同AI助手（Sonnet 4、Qwen 27B、Qwen 9B、Llama 8B）的实战经验来优化技能手册，然后测试这些手册能否有效地应用于其他AI助手。

单一来源的经验表现令人担忧：由Sonnet 4经验优化出的手册，在其他AI助手上的测试准确率只有36.0%；Qwen 27B的经验稍好，达到48.8%；Qwen 9B贡献了59.4%；Llama 8B达到55.5%。

然而，当研究团队将四种AI助手的经验综合起来，让手册在多种AI的执行轨迹下进化时，最终的跨模型测试准确率飙升至73.1%，远超任何单一来源的最佳表现（59.4%）。这个差距高达13.7个百分点，效果相当于让一个只在国内市场工作过的销售员，通过接触不同市场的多样经验，变成能够应对全球市场的通用业务员。

更出乎意料的发现是：来自能力较弱的AI助手的经验，有时比来自强力AI助手的经验更有迁移价值。这看起来反直觉，但背后有合理的解释：能力强的AI处理任务时往往走“捷径”，利用自身强大的通用能力绕过困难环节，因此总结出的经验可能过于依赖那种特定的强大能力；而能力相对有限的AI不得不更显式地、按部就班地处理问题，总结出的步骤反而更通用、更可移植。

用一个比喻来说，经验丰富的老司机可能说不清楚“怎么开车”，因为很多动作已经内化为本能；反而是刚学会开车的新手，能给出更清晰的步骤描述，对其他学车新手更有指导价值。

七、角色的“职业惯性”——跨岗位迁移的代价

程序性记忆能跨越AI模型的边界，但能跨越职业角色的边界吗？这是研究中最引人深思的发现之一。

研究团队以PDF处理技能为例，专门研究了跨岗位的技能迁移效果。他们将技能手册在项目经理（PM）的任务上进行优化，然后测试是否能迁移到数据科学家（DS）的任务上，反之亦然。

结果清晰地表明了职业惯性的存在。当技能手册在项目经理任务上进化，然后继续应用于项目经理的新任务时（PM→PM），准确率提升了11.7个百分点——进化非常成功。当技能在数据科学家任务上进化，然后继续服务数据科学家时（DS→DS），提升了6.2个百分点，同样有效。

然而，当技能从一个角色“迁移”到另一个角色时，情况就反转了。把为项目经理优化的PDF技能手册拿给数据科学家用（PM→DS），准确率下降了4.8个百分点——不仅没有帮助，还帮了倒忙。把为数据科学家优化的手册拿给项目经理用（DS→PM），情况更糟，下降了7.5个百分点。

这种反转的根源在于，同样叫“PDF处理”的技能，在不同职业语境中意味着完全不同的事情。项目经理的PDF任务关注的是文档的排版格式、图表的视觉呈现、摘要的逻辑结构；数据科学家的PDF任务关注的是从文档中提取结构化数据、识别表格中的数字、处理多页文档的批量读取。一套为“写给高管的总结报告”优化的操作步骤，完全不适合“从报告中批量提取数字用于统计分析”的场景，反而可能形成干扰。

这意味着，程序性记忆不是一个全局通用的“技能宝库”，而是会自然地根据使用它的职业角色产生特化和分化。这一发现对企业实际部署AI系统有重要的实践意义：在不同部门或岗位之间共享同一套操作手册，需要非常谨慎。

八、省钱的意外收获——进化后的说明书降低了计算成本

除了提升任务完成率，研究团队还发现了一个实用价值高但容易被忽视的优点：经过实战进化的手册，能显著降低AI处理任务时所消耗的计算资源。

这背后的逻辑其实很直观。一个没有操作手册的AI助手面对复杂任务时，必须在对话过程中自己摸索——尝试一种方法，发现不对，退回重来，再试另一种方法，消耗大量来回交互的“计算令牌”（可以把令牌理解为AI思考和生成文字的“燃料消耗量”）。而一个手持清晰手册的AI，可以直接按步骤执行，减少弯路。

以“Kafka延迟异常检测”这个基础设施任务为例（Kafka是一种常用的数据流处理软件，检测其运行异常是数据工程师的日常工作）：没有手册时，Claude（一款高端AI助手）完成该任务消耗了42.1万个令牌；使用手工编写版手册时，消耗反而增加到52.1万（因为手册本身占用了空间）；但使用经过实战进化的手册后，总消耗降至19.5万，节省了62%的计算资源。

另一款相对轻量的AI助手Hermes在同一任务上也有类似表现：进化后的手册帮它节省了约16%的计算成本。在其他测试任务上，这种成本节省的规律同样得到了验证。

对企业来说，这意味着什么？处理规模越大、任务越频繁，节省下来的计算成本就越可观。一个每天要处理数万次重复工作任务的企业系统，通过这种方式每年节省的AI服务费用可能相当显著。

九、说到底，AI的“职场老手”之路还有多远

归根结底，这项研究揭示了一个既令人振奋又颇为现实的图景：AI的程序性记忆确实是个有价值的方向，但它的有效性高度依赖于“经验来自哪里”和“要用在哪里”。

单轮优化就能带来3.7到6.7个百分点的提升，说明这条路值得走。多模型混合经验能帮助手册跨越“模型鸿沟”，达到73.1%的跨模型测试准确率，远超任何单一来源的59.4%上限。但跨角色迁移的失败案例也清楚地告诉我们：手册不是万能的，专业化程度越高的手册，离开原来的职业语境就越危险。

对于希望部署AI助手来处理日常职场工作的企业，这项研究给出了几条很实用的启示。首先，给AI提供操作手册是有价值的，哪怕是AI自己草拟的宽泛参考手册也比没有强。其次，允许手册通过实战记录进行迭代优化，效果会进一步提升，而且一轮优化就已经相当有效。再者，如果需要让手册在不同AI系统之间共享，应该尽量收集来自多种AI的执行经验，而非只依赖单一AI助手的记录。最后，在不同职业角色之间共享手册时需格外小心，因为表面上相同的技能在不同岗位下的实际含义可能截然不同。

这项研究没有解决的问题同样值得关注。实验中固定的经验收集量，是否足以代表企业实际积累的大规模经验？随着收集的执行记录越来越多，技能手册的质量会继续线性提升，还是会遇到“边际递减”的瓶颈？除了代码能不能跑通，AI生成的内容在可读性、健壮性和用户体验上的质量如何评价？这些都是下一步研究需要探索的方向。

所有这些发现共同指向一个核心洞察：程序性记忆面临的真正挑战，不是让AI存储更多经验，而是让它从经验中提炼出真正可以迁移的通用知识，而非把每段经历都变成只适合原场景的“局部习惯”。这个问题，其实和如何培养一名真正优秀的职场老手面临的挑战如出一辙。

Q&A

Q1：AFTER基准测试和其他AI测试平台有什么不同？

A：AFTER是目前唯一一个同时具备职业角色结构、技能标注以及跨场景迁移测试分组的AI评估平台。其他主流测试平台如GAIA、SWE-bench、WebArena等，要么只关注单一角色，要么没有技能标注，要么缺乏跨场景迁移的评估机制。AFTER的382个任务覆盖六种职业角色和22项技能，能够系统性地测试AI在不同职业语境下的技能复用能力，是目前该领域最全面的测试平台。

Q2：程序性记忆为什么在不同职业角色之间迁移会失败？

A：同一项技能在不同职业角色中的实际用途完全不同，导致为某个角色优化的手册带有鲜明的“职业惯性”。以PDF处理为例，项目经理的需求是生成格式美观的高管摘要，而数据科学家的需求是批量提取表格数据用于统计分析。一套为前者优化的操作步骤，不仅对后者没有帮助，还可能形成干扰，导致准确率下降高达7.5个百分点。

Q3：为什么混合多个AI模型的经验比只用单一强大AI的经验效果更好？

A：能力强的AI处理任务时依赖自身的强大通用能力走“捷径”，总结出的经验过于依赖特定的高级能力，迁移到其他AI时效果有限。而来自多种能力水平AI的混合经验，包含了更多元化的问题解决路径，提炼出的操作步骤更具通用性。能力相对有限的AI反而会更显式地按步骤解决问题，使得总结出的经验对不同能力的AI都适用。混合四种AI模型的经验，跨模型测试准确率达到73.1%，远超最佳单一来源的59.4%。