Harness原生Agent新突破！微软发布OpenForge RL：在任意环境中端到端训练
微软与哥伦比亚大学联合推出OpenForgeRL，一个轻量级端到端Agent训练框架。通过Agent记录模型调用并重组为训练数据，配合Kubernetes编排，实现任意环境中的大规模训练。该框架在多个基准测试中优于同等规模开源模型，样本效率更高，跨harness泛化能力更强。
在任意 Harness 中训练 Agent，这事儿听着挺美，但实际操作起来，却是个公认的难题。
问题出在哪儿呢？Harness 的推理过程通常是有状态的，而且是多进程的。主流的开源 RL 框架默认走本地 rollout 路线，很难直接和原始 harness 对接。如果训练阶段改用简化版 harness，交互流程又可能偏离部署环境，导致训练和部署“两张皮”。
针对这个顽疾，来自微软和哥伦比亚大学的研究团队拿出了一套名为 OpenForge RL 的解决方案。这玩意儿是个轻量级的 Agent 端到端训练框架，核心思路很巧妙——它通过一个轻量级 Agent 记录模型的每一次调用，等 rollout 结束后，把这些调用记录重新组装成训练框架能用的标准数据格式。然后，由 Kubernetes 编排器在独立的容器里调度 rollout。这样一来，就能在任何 harness 和环境中进行大规模训练了。
结果相当亮眼：经 OpenForge RL 训练过的模型，在几乎所有基准测试上都优于同等规模的开源模型，样本效率更高，跨 harness 的泛化能力也更强。
图｜左侧：OPENFORGE RL 构建在 Orchard Env上，并将任意 harness × 任意环境连接到 veRL 等标准 RL 代码库，不存在训练-部署不匹配。右侧：使用 OPENFORGE 训练得到的模型，在 6 种 harness 上，跨六个 Claw 和 GUI 环境进行评估。
话说回来，强化学习（RL）虽然大幅提升了 Agent 在复杂工具调用和多步交互任务中的可靠性，但自我纠错能力依然是块明显的短板。
研究团队表示，这项工作的初衷，就是让研究人员能在真实部署的 harness 和环境中训练并改进 Agent，从而降低研究门槛。
OpenForge RL：Harness原生Agent训练框架
简单来说，OpenForge RL 是一个即插即用的 rollout 接口，专门用来把分布式 harness rollout 接入 veRL 这种 RL 框架。它在 harness 和推理服务器之间加了一个 Agent 层，负责记录模型调用，等 rollout 跑完，再把这些记录重构为标准 RL 训练轨迹。这样一来，harness 代码完全不用动，就能通过 Kubernetes 编排器扩展到数千个并发环境。
具体流程可以拆成两个部分：
1. Agent：它负责包装 vLLM 等推理服务器，记录 rollout 过程中的生成请求和模型回复；任务跑完后，收集终止奖励，并将 prompt-response 记录重构为训练轨迹。像 GRPO 这种基于组的算法，则根据同组轨迹的平均奖励来计算优势值。
2. Kubernetes 编排器：负责在 Azure 等云上创建、管理和回收 rollout 容器。每个容器都有独立的 CPU 和内存，与训练节点分离运行，足以支撑大规模并发 rollout。
为了防止远程 rollout 掉链子影响训练，OpenForge RL 还内置了两套容错机制：
1. 墙钟超时：给每个 rollout 任务设定一个时间上限，超时了就终止，并返回错误信号，让训练器能继续从其他 rollout 中收集数据。
2. 异常 rollout 丢弃：如果 rollout 因为网络问题、任务故障或 harness 故障失败，OpenForge RL 不会给它分配奖励，直接丢弃，避免引入误导性训练信号。
图｜OPENFORGE RL 概览。
为了支持在多样化的环境中开展实验，研究团队还搭建了一条简单的任务生成流水线。流程大致是：先生成指令，再过滤任务，然后构建 Docker 环境和验证脚本，最后用开放 LLM/VLM 试跑并修补，直到通过端到端检查。环境可以预装 OpenClaw、Codex 等 harness，生成的任务可以同时用于 SFT 和 RL。
图｜数据/任务合成流水线的概览。
同规模领先，跨harness泛化更强
研究团队在工具使用（Claw）和多模态 GUI 两类长程任务上对 OpenForge RL 进行了评估。整体来看，OpenForge 训练的模型在几乎所有基准上均优于同等规模的开源模型，样本效率更高，跨 harness 泛化能力也更强。
1. 基准测试表现
在 Claw 任务上，OpenForge-Claw 在多个基准上超过了同规模模型，说明当前的任务环境能为模型提供有效的训练信号。相比仅经过 SFT 训练的模型，经过 SFT+RL 训练的模型在鲁棒性和平均成功率上都有明显提升。
图｜Claw Agent 在 Claw-Eval、QwenClawBench 和 MCPAtlas 上的表现。
在 GUI 任务上，OpenForge-GUI 同样表现出很强的竞争力。对比一下：使用 20 万+ 任务训练的 MolmoWeb，OpenForge-GUI 只用 2.5k 个任务，就在 Online-Mind2Web 上超过了前者，同时在 WebVoyager 上保持了竞争力。OpenForge-GUI 不仅优于相近规模的开放基线，还在 GUI 设置中追平甚至超过了数倍更大的模型。经过 SFT+RL 训练后，它在 3 个基准上也均优于仅 SFT 版本。
图｜GUI Agent 在 OSWorld-Verified、OnlineMind2Web 和 WebVoyager 上的表现。
2. 跨 Harness 泛化能力
研究团队进一步考察了模型在不同 harness 下的泛化表现。结果很能说明问题：单一 harness 训练已经具备一定的迁移能力，而多 harness 联合训练整体效果更优，尤其是在复杂 harness 上的收益更为明显。
不同 harness 的学习难度差异显著。在 ClawEval 中，研究团队使用 ReACT、ZeroClaw、OpenClaw 和 Codex 等 harness 进行评估，结果发现，工具接入更灵活的 harness 得分最高。SFT+RL 能提升大多数 harness 的表现，但在 OpenClaw 上带来的提升相对有限，这可能与它更长的 prompt 和更复杂的上下文有关。
多 harness 联合训练的优势则更为突出。例如，在 ZeroClaw 上的分数从 46.0 提高到了 48.5。研究团队认为，这可能是因为多 harness 训练引入了更多样化的工具调用方式和控制流程。
图｜在不同 harness 下比较 OpenForge-Claw 在 ClawEval 上的表现。
在未见 harness 的评估中，单 harness 训练也表现出了一定的迁移能力。例如，仅在 ZeroClaw 上训练的模型，在未参与训练的 OpenClaw 和 Codex 上也能看到提升。相比之下，多 harness 联合训练的整体表现更好，更丰富的工具调用方式和控制流程，确实有助于提升泛化能力。
图｜未见 harness 评估。
3. RL 学到的能力
RL 让模型变得更聪明了——它不再那么依赖通用的 shell，而是更倾向于选择合适的专用工具。在 ZeroClaw harness 下，通用 shell 的调用占比从 22.6% 降到了 13.9%，调用方向转向了专用服务工具，轨迹长度也略有缩短。
另外，RL 还提升了多项 Agent 的可靠性指标。在 Codex harness 下，模型的自我验证能力、工具覆盖率以及格式鲁棒性都有了明显提升。
图｜SFT 与 SFT+RL 在 ClawEval 上的行为比较。
不足和未来发展
尽管 OpenForge RL 在基准测试和跨 harness 泛化实验中拿出了不错的结果，但依然有几块短板需要补上。
首先是异常 rollout 的处理，目前还是比较保守。运行 rollout 任务的容器可能因为网络错误、harness 崩溃或超时而中断。未来，研究团队打算进一步研究部分 rollout 的信用分配问题，让那些有效的交互步骤也能被用于训练。
其次，错误恢复能力依然不足。RL 虽然能提升自我验证、工具覆盖和多步计划等能力，但错误恢复在 RL 后仍然是弱项。后续研究将针对错误恢复构建专门的数据，并探索相应的训练方法，来进一步强化这类能力。
此外，数据和基础设施仍然是扩展到更多 Agent 环境的门槛。研究团队表示，后续会公开代码、数据集和模型，希望能降低在真实 harness 和环境中训练 Agent 的门槛。
Shapr3D是一款面向工业设计、机械工程、建筑概念和三维打印工作流的CAD软件。Mac版采用Parasolid建模内核，支持草图约束、实体建模、工程图、可视化渲染及常见CAD格式交换，并可通过账户在多台设备之间同步项目。
REAPER是Cockos开发的数字音频工作站，提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片，支持AU、VST、VST3、CLAP等插件格式，并提供高度可定制的工作流程。
Ableton Live 是面向音乐制作人与现场表演者的数字音频工作站，提供编曲视图、独具特色的现场视图、音频录制、MIDI创作、实时变速、乐器及效果器。Mac版原生支持Apple芯片，并可连接音频接口、MIDI控制器和第三方插件。
Adobe After Effects 是面向动态图形、影视特效与视频合成的专业创作软件。它提供关键帧动画、遮罩抠像、运动跟踪、三维空间、文字动画和表达式等工具，并可与 Premiere Pro、Photoshop、Illustrator
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Adobe Bridge 是面向摄影师、设计师及内容团队的免费数字资产管理工具，可集中预览照片、视频和 Adobe 项目文件，并利用评级、标签、关键词、元数据、筛选与收藏集完成分类检索。它还支持批量重命名、格式导出、相机导入及 Camera
Adobe Illustrator 是 Adobe 推出的专业矢量图形设计软件，适合在 Mac 上制作标志、图标、插画、包装、信息图及印刷版面。它以路径和锚点构建可无损缩放的图形，并提供钢笔、形状、文字、图像描摹、渐变、画板及生成式功能。
Adobe InDesign 是面向印刷品与数字出版物的专业版面设计软件，可在 Mac 上制作书籍、杂志、宣传册、海报、报告及交互式文档。它提供精细的文字样式、网格、母版、长文档管理和印前输出能力。
Adobe Lightroom Classic 是面向桌面摄影工作流的照片管理与后期处理软件，可将原始照片保存在本地硬盘，通过目录、关键词、评分和收藏夹高效整理图库，并提供 RAW 冲印、蒙版、镜头校正、批量同步及多格式导出等功能。
Adobe Media Encoder 是 Adobe 推出的专业音视频编码与转码工具，可通过队列、预设和监视文件夹批量完成格式转换、代理文件创建及多平台成片输出，并与 Premiere Pro、After Effects 等软件紧密协作。
Adobe Photoshop 是面向摄影师、设计师和内容创作者的专业图像处理软件，提供图层、蒙版、选区、修复、调色、文字排版、智能对象及生成式编辑等能力。Mac 版支持 Intel 与 Apple Silicon 处理器。
Adobe Premiere Pro 是面向专业视频制作的非线性剪辑软件，提供多轨时间线、调色、音频处理、字幕、代理工作流和多格式输出能力，并可与 After Effects、Audition、Photoshop 及 Frame.io 协同
Photoshop 2026 是 Adobe 推出的专业图像处理与视觉设计软件，支持 Windows、macOS 和 iPad 等平台，广泛应用于摄影修图、电商设计、平面海报、数字绘画及视觉合成等创作场景。
Blender 是一款免费开源、跨平台的专业 3D 创作软件，集建模、动画、渲染、视频编辑与视觉合成等功能于一体，广泛应用于影视动画、游戏设计和建筑可视化等领域。软件支持 Cycles 物理渲染器与 Eevee 实时渲染引擎，并提供多边形建模、骨骼绑定、物理模拟等专业工具。Blender 兼容 Windows、macOS 和 Linux 系统，安装包轻巧、运行流畅，依托活跃的全球开发者社区持续更新，是从初学者到专业创作者都值得选择的正版 3D 创作工具。
极度公式是一款跨平台专业LaTeX公式识别编辑软件，支持OCR公式识别和多平台编辑。和使用说明，避免使用，享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时，它能把识别后的处理步骤接得更顺，资料录入这类场景会省下不少时间。
一款文字处理软件，一种订阅式的跨平台办公软件，基于云平台提供多种服务，通过将 Excel 和 Outlook 等应用与 OneDrive 和 Microsoft Teams 等强大的云服务相结合，Office 365 可让任何人使用任何设备随时随地创建和共享内容。
Wise Folder Hider Pro 是一款专业级文件和文件夹隐藏加密软件，为私密数据添加多重保护。高频操作更强调就近处理，浏览、整理和跨目录移动文件时，来回切换和重复点击都会少很多。
CodeExpander 是一款快捷短语输入增强工具，通过键入缩写自动展开为自定义文段，提升工作效率。任务管理和过程控制会更完整，持续下载、批量同步或需要稳定传输流程的场景会更适合它。