清华陶建华团队提出「自进化同策略蒸馏」SEED：让Agentic RL训练也懂事后监督
针对长程Agent任务中结果强化学习缺乏中间监督的问题，清华大学陶建华团队提出自进化同策略蒸馏框架。该方法将当前策略轨迹转化为事后技能，再蒸馏回模型，实现逐token密集监督。在具身交互、网页导航等任务上，性能与样本效率显著提升，并展现出跨领域泛化能力。
交互式Agent在长程任务中频繁“翻车”，已经是老生常谈的问题了。一个很自然的想法是：能不能让它们像人类一样，学会“事后复盘”，从成功和失败的经历中提炼出可复用的经验？
强化学习（RL）如今已是后训练阶段的主流范式，但在长程Agent任务中，基于结果的RL有一个明显的“监督缺口”——它只看最终结果，看不见过程中那些有价值的细节。比如，一条失败轨迹里可能藏着有效的动作序列，而一条成功路径上也未必所有步骤都值得推崇。到底哪些中间观察、哪些工具调用才真正值得被强化？这恰恰是当前方法难以回答的问题。
针对这个痛点，清华大学自动化系陶建华团队及其合作者提出了一套名为“自进化同策略框架”（SEED）的解决方案。核心思路很直接：把当前策略已经完成的轨迹，转化为训练时的事后（hindsight）技能，再将这些技能的行为效果蒸馏回策略模型本身。
论文链接：https://arxiv.org/abs/2607.14777
效果怎么样呢？在基于文本和基于视觉的智能体任务上，SEED不仅持续提升了性能和样本效率，还展现出了对未见场景的鲁棒泛化能力。
图｜整体性能概览。
更重要的是，SEED只依赖自身的策略模型，推理时不需要额外记忆或提示，就能保留那些可复用的行为经验。换句话说，它把复盘能力真正内化到了模型里。
SEED：自进化同策略框架
SEED的全称是SElf-Evolving On-Policy Distillation，是一个自进化的OPD框架。它会把当前策略完成的任务轨迹总结为后见技能，再将技能的行为指导蒸馏回策略模型。由此形成的训练信号有三个鲜明特点：来自当前策略的轨迹、能细化到单个决策token，而且会随着策略更新一起进化。
整个框架分为两个阶段：
1. 后见技能监督微调（hindsight skill SFT）
先收集基础策略的交互轨迹，再由外部分析器将完整轨迹总结为后见技能。成功轨迹对应可复用的策略或工作流，失败轨迹则提炼出纠正或规避规则。随后，这些轨迹-技能对被用来微调模型，使其具备轨迹分析能力，并为后续的RL actor和分析器打好基础。
2. 自进化同策略蒸馏（self-evolving on-policy distillation）
在强化学习过程中，当前的策略模型身兼二职：既采样任务轨迹，也作为分析器从这些轨迹中提取可复用的后见技能。接着，SEED会比较模型在有无后见技能时，对同一批动作的判断变化，并将这种变化转化为OPD训练信号，与GRPO一起优化。通过反复执行“收集轨迹、分析技能、重新评分、蒸馏更新”的循环，后见技能在多轮训练中被逐步蒸馏回策略。
图｜SEED概览。
更高性能、更强泛化
研究团队在具身交互、网页导航和搜索问答三类长程任务上对SEED进行了评估。整体来看，SEED在所有基准上的表现均显著优于基于结果的RL和静态蒸馏方法，样本效率和泛化能力也更为突出。
1. 基准测试表现
SEED通过密集的token级监督，弥补了仅依赖终端奖励的RL的不足。与GRPO相比，SEED在三个基准上稳定提升，ALFWorld上甚至提升了45.9个百分点。内化技能的效果也优于上下文提示——与Skill-Prompt相比，SEED在推理时不需要额外技能提示，表现反而更好。相比OPSD、Skill-SD等静态蒸馏方法，SEED的领先优势明显，尤其在ALFWorld上。这说明，动态更新的后见监督远比静态方案更有效，也更能适应训练中不断出现的轨迹和失败模式。
图｜在ALFWorld、Search-based QA和WebShop代表性长程基准上的性能比较。
2. 训练动态与样本效率
以ALFWorld为例，SEED在训练早期的成功率就明显领先GRPO，平均回合长度下降更快，任务执行效率更高。更值得注意的是，SEED只使用60%的训练数据，表现就超过了使用完整数据训练的GRPO。这意味着，从完成轨迹中提取的信息量，远胜于盲目堆数据。
图｜ALFWorld上的训练动态。
图｜ALFWorld上的训练动态。
3. 跨领域泛化能力与多模态扩展
在ALFWorld未见任务集上，使用Qwen2.5-3B-Instruct训练的模型，宏平均成功率从70.9%跃升至86.2%，在大多数任务族上显著超越GRPO。尤其在加热物体、查看物体和拾取物体等任务上，提升最为明显。SEED的能力同样适用于视觉任务。在Sokoban和EZPoints两个视觉Agent基准上，Qwen2.5-VL-3B-Instruct的平均成功率从77.0%提高到91.0%，且评估时不需要额外skill提示。
图｜ALFWorld Unseen上的跨领域泛化能力。
图｜基于视觉的智能体基准上的结果。
4. 消融分析
为验证各组件的贡献，研究团队在ALFWorld上进行了消融实验。结果显示，去掉后见技能SFT或自进化OPD都会降低性能，而使用静态技能库替代策略自身生成的技能时，性能退化最为明显。这说明，关键不在于技能本身，而在于技能是否来自当前策略的实时演化。
图｜消融实验结果。
不足和未来发展
尽管SEED在许多任务中表现稳定，研究团队也坦诚指出了其局限性。首先，在DeepPlanning、OdysseyArena等包含更长工作流和更稀疏最终信号的基准上，SEED的效果仍有待验证。其次，自进化机制存在一个潜在风险：行动器和分析器共用同一套策略，如果模型在执行时犯错，可能会把无效做法总结成可复用经验，并在后续更新中持续强化。未来的改进方向包括将技能更新更多建立在可验证的状态变化之上，或引入不确定性感知机制来筛选更可靠的指导信息。此外，训练成本也会随任务复杂度上升而增加——虽然SEED不会增加部署开销，但在训练阶段仍需分析轨迹并进行成对评分。未来可以通过只分析关键轨迹、批量完成评分等方式进一步降低成本。
更多技术细节，请参见原论文。
Adobe Acrobat Pro 是面向办公、法务、财务、教育及出版用户的专业PDF处理软件，可在Mac上创建、编辑、转换、合并和保护文档，并提供OCR文字识别、表单、批注、内容比较、敏感信息遮盖及电子签名功能。
Blender 是一款免费开源、跨平台的专业 3D 创作软件，集建模、动画、渲染、视频编辑与视觉合成等功能于一体，广泛应用于影视动画、游戏设计和建筑可视化等领域。软件支持 Cycles 物理渲染器与 Eevee 实时渲染引擎，并提供多边形建模、骨骼绑定、物理模拟等专业工具。Blender 兼容 Windows、macOS 和 Linux 系统，安装包轻巧、运行流畅，依托活跃的全球开发者社区持续更新，是从初学者到专业创作者都值得选择的正版 3D 创作工具。
Shapr3D是一款面向工业设计、机械工程、建筑概念和三维打印工作流的CAD软件。Mac版采用Parasolid建模内核，支持草图约束、实体建模、工程图、可视化渲染及常见CAD格式交换，并可通过账户在多台设备之间同步项目。
Adobe Illustrator 是 Adobe 推出的专业矢量图形设计软件，适合在 Mac 上制作标志、图标、插画、包装、信息图及印刷版面。它以路径和锚点构建可无损缩放的图形，并提供钢笔、形状、文字、图像描摹、渐变、画板及生成式功能。
Adobe InDesign 是面向印刷品与数字出版物的专业版面设计软件，可在 Mac 上制作书籍、杂志、宣传册、海报、报告及交互式文档。它提供精细的文字样式、网格、母版、长文档管理和印前输出能力。
Affinity Designer 的矢量设计能力现已整合进 Affinity by Canva，可在 Mac 上进行标志、图标、插画、界面原型及印刷品设计。个人用户使用免费 Canva 账户即可使用完整的矢量、像素和版面工具。
Archicad是Graphisoft推出的建筑信息模型设计软件，可在Mac上完成概念设计、参数化建模、图纸编制、工程量统计、渲染展示及团队协同。模型与平立剖面、明细表和布局保持关联，适合建筑师、室内设计师、BIM团队及相关专业学生使用。
AutoCAD LT是Autodesk推出的专业二维CAD设计与文档编制软件，Mac版本提供原生界面、多点触控及分屏查看体验。用户可精确创建和编辑DWG图形，完成图层管理、尺寸标注、表格、PDF参考、外部参照及打印输出。
AutoCAD for Mac 是 Autodesk 面向 macOS 提供的专业计算机辅助设计软件，支持精确的二维绘图、标注、布局输出以及实体、曲面和网格建模。软件采用适配 Mac 操作习惯的界面，可处理 DWG 图纸。
Autodesk Fusion 是面向产品设计与制造的一体化云连接平台，在 Mac 上提供参数化建模、自由曲面、装配、工程图、仿真、PCB 设计和 CAM 加工等工具。它适合机械工程师、工业设计师、创客及制造团队使用。
Autodesk Maya是一套面向影视动画、游戏开发和视觉特效制作的专业三维创作软件，集多边形与曲面建模、角色绑定、关键帧动画、动力学模拟、程序化特效及Arnold渲染于一体，并提供脚本、插件和开放式制作管线支持。
Blender是一款免费开源的综合三维创作软件，可在Mac上完成建模、数字雕刻、材质制作、角色绑定、动画、物理模拟、渲染、合成及视频剪辑。软件提供Cycles与Eevee渲染工具，并支持几何节点、蜡笔绘制和Python扩展。
AutoCAD 是 Autodesk 推出的专业计算机辅助设计软件，Windows 版支持精确二维绘图、三维实体与曲面建模、图纸标注、布局发布和任务自动化，并包含多套行业专业化工具组合，适用于建筑、机械、电气、工程建设及制造设计人员。
Adobe Acrobat Pro 是面向专业 PDF 工作的综合解决方案，可在 Windows 中创建、编辑、转换、比较、整理和保护文档，并支持表单、电子签名、扫描件文字识别及敏感信息永久遮盖。订阅还包含网页、移动服务和云端协作能力，
Blender 是一款免费开源、跨平台的专业 3D 创作软件，集建模、动画、渲染、视频编辑与视觉合成等功能于一体，广泛应用于影视动画、游戏设计和建筑可视化等领域。软件支持 Cycles 物理渲染器与 Eevee 实时渲染引擎，并提供多边形建模、骨骼绑定、物理模拟等专业工具。Blender 兼容 Windows、macOS 和 Linux 系统，安装包轻巧、运行流畅，依托活跃的全球开发者社区持续更新，是从初学者到专业创作者都值得选择的正版 3D 创作工具。
Adobe InDesign 是面向印刷与数字出版的专业页面排版工具，可制作书籍、杂志、宣传册、海报、交互式 PDF 和电子书。它提供精细的文字样式、多页面管理、印前检查及多格式输出能力，并能与 Photoshop、Illustrator
Adobe Illustrator 是用于绘制矢量图形、插画、图标、徽标和版式的专业设计工具。它以路径和锚点为核心，作品放大后仍能保持清晰，并提供画板、文字、渐变、图像描摹及精确变换等功能，适合品牌视觉、印刷物料、数字界面和商业插画创作。
Figma 是面向产品设计与开发团队的云端协作平台，可在 Windows 桌面客户端中完成界面绘制、组件管理、交互原型、评论评审和开发交付。文件保存在云端，多名成员能够同步编辑并共享设计系统；官方同时提供免费 Starter 方案及按席位计
Affinity Designer 是面向矢量图形、数字插画和界面设计的专业创作工具，可在矢量、像素与导出工作区之间快速切换。它提供曲线编辑、形状构建、画板、排版、图层和专业色彩管理，并支持常见设计文件的导入及多种印刷、网页格式输出。
Cinema 4D是Maxon推出的专业三维创作软件，将建模、动画、MoGraph动态图形、粒子与动力学模拟、材质灯光及Redshift渲染整合在统一工作环境中，适用于广告包装、影视特效、产品和建筑可视化、游戏素材等制作场景。
Blender 是免费开源的三维创作套件，在 Windows 上提供建模、雕刻、材质、动画、物理模拟、合成、跟踪、视频剪辑及 Cycles、EEVEE 渲染工具。它适合个人创作者、学生和小型工作室，
Autodesk Maya 是面向影视、电视、动画和游戏行业的专业三维制作软件，集多边形与 NURBS 建模、角色绑定、关键帧和动作捕捉动画、Bifrost 特效模拟、材质开发及 Arnold 渲染于一体，
SketchUp Pro 是面向建筑、室内、景观、施工和产品设计等专业场景的三维建模工具，提供桌面建模、LayOut 二维文档、模型资源库、扩展程序及云端协作能力。其操作逻辑直观，适合从概念推敲、空间规划到图纸表达和方案汇报的完整工作流程。