ICML 2026：从输入输出样例中自动生成程序——强化学习为大模型Programming-By-Example任务提供推理过程监督

ICML 2026

尽管大语言模型在代码生成和程序推理任务中一路高歌猛进，但在Programming-by-Example（PBE）这一经典场景中，表现仍有明显短板。PBE任务要求模型只根据输入输出样例，去反推底层程序逻辑——这活儿看着简单，做起来其实相当棘手。目前的方法往往依赖输入到输出的直接对应，或借助Chain-of-Thought、执行反馈、监督微调等方式来增强推理能力。但问题是，这类方法对推理过程的监督颗粒度不够细，模型容易学出只满足一部分样例的“捷径”程序，或者在复杂逻辑归纳时跑偏。

最近，来自北京大学、京东、华东师范大学以及实验室的研究团队联合出手，针对PBE场景中缺乏过程监督的问题，提出了一套名为PRM-PBE的过程奖励强化学习框架。这套框架的核心思路是：通过反馈引导的方式构建推理树，生成高质量的过程监督数据，再训练一个Process Reward Model（PRM）来评估每一步推理的质量，最后按失败模式分阶段进行课程学习和PPO优化。相关论文已发表，标题为PRM-PBE : Process Reward Model for Reinforcement Learning in Programming-by-Example，作者包括房越、金芝、安杰、陈宏申、张锴等。

现有PBE方法缺乏对推理过程的精细监督

Programming-by-Example的核心目标，就是从少量输入输出样例中，准确推断用户想要的程序逻辑。传统PBE系统通常依赖预定义的领域特定语言，通过符号搜索、递归分解或神经网络引导来完成程序合成。随着大语言模型的崛起，PBE不再受限于特定DSL，模型可以直接基于自然语言提示、输入输出样例和推理链，生成通用的代码。

但是，论文指出，当前基于LLM的PBE方法有一个核心缺陷：模型主要学习的是输入与输出之间的表层映射，而中间归纳过程却缺少有效监督。对于复杂的PBE任务，光是端到端生成，很容易出现两类错误：第一类是模型推断出的逻辑完全跑偏，比如把“多个列表中相同位置元素相等的索引”搞混成简单的集合交集；第二类是模型生成只覆盖部分样例的程序，比如要求降序排序，模型却只做了反转操作，结果在部分输入输出上看似正确，实际却与真实规则差之千里。

这些失败的案例说明，PBE的难点从来不只在最终的代码能否通过测试，而在于模型能否在推理过程中一步步接近样例背后的潜在意图。如果缺少对推理步骤的明确监督，模型很容易沿着错误的归纳方向一路跑偏，最终产出一个看似合理但逻辑不完整的程序。

用反馈引导的推理树构建过程监督数据

针对中间推理过程难以监督的问题，论文提出了一套反馈引导的推理树构建方法。推理树里的每个节点都对应一个自然语言形式的中间推理步骤，模型从输入输出样例出发，逐步采样后续推理节点，直到形成完整的推理链。由于这些中间节点本身不能直接执行程序，系统会在路径完成后，把它们转化为完整的程序，并通过执行测试来判断是否满足所有样例。

在此基础上，论文用后续路径的成功比例来给节点打分。如果一个节点的大部分后续路径都能导向正确程序，就说明这个推理状态还算靠谱。反过来，如果某个推理前缀的所有后续路径都失败了，系统就会把它标记为潜在的逻辑偏离点，然后引入外部自然语言指令进行定向修复，从而生成更多高质量的正样本。这一招有效缓解了PBE过程监督数据中正样本稀疏的难题。

用后继成功率训练过程奖励模型

完成推理树构建后，论文接着训练了一个Process Reward Model来评估中间推理步骤的质量。PRM不直接判断最终程序对不对，而是为每一个推理状态分配一个奖励分数，用来估算“从这个状态继续生成，有多大可能做出正确的程序”。

具体来说，论文把节点的后继成功率作为训练信号。如果节点A的后续采样路径更容易生成正确程序，而节点B的后续路径更容易失败，那么训练目标就要求PRM给节点A打出更高的分数。相比简单的正负样本分类，这种偏好学习能更细致地区分不同推理状态的可靠程度，让模型学会识别更可能通向正确程序的归纳方向。

三阶段课程学习将过程奖励注入强化学习

获得PRM之后，论文把它接入强化学习框架，用过程级奖励来优化程序合成模型。为了提升训练稳定性，团队设计了一套按失败模式组织的三阶段课程学习策略，让模型从基础可执行性逐步过渡到复杂的逻辑正确性。

第一阶段专注处理语法错误和运行时错误，目标是训练模型生成能正常执行的程序。第二阶段则处理那些可执行但行为完全不对的程序，引导模型学习输入输出样例里的核心约束。第三阶段专门应对只能通过部分样例的程序，帮助模型减少对有限样例的过拟合。在每个阶段中，PRM都会给中间推理状态提供奖励，然后通过PPO更新策略模型。这样一来，模型就能一步步学会更可靠的程序归纳路径。

多基准实验验证PRM-PBE的有效性

论文在PROSE、SyGuS、Playgol、Lists和MBPP五个代表性PBE基准上做了实验，覆盖字符串处理、列表操作、归纳逻辑程序设计以及MBPP改造来的输入输出样例合成任务。实验中还比较了多种闭源与开源的大语言模型，包括GPT-4o、Claude-3.5-Sonnet、Gemini-1.5-Flash、Qwen2.5-Coder、DeepSeek-Coder-V2、Llama-3和Qwen3。

主实验结果显示，PRM-PBE在所有基准上均显著优于现有基线方法。以DeepSeek-Coder-V2为基础模型时，SFT的平均Pass@1是42.76%，而PRM-PBE直接提升到了56.61%，整整多了13.85个百分点。哪怕和最强非PRM基线——Claude-3.5-Sonnet的WPS方法相比，PRM-PBE仍然高出8.73个百分点。这个结果说明，对于复杂的PBE任务，光靠提示工程、搜索反馈或监督微调还不够，显式的过程奖励才能更有效地提升程序合成的准确率。

为PBE程序合成提供过程监督的新范式

这项工作的价值在于，它把PBE中最难监督的那个环节——从样例归纳程序意图——显式建模出来，并用过程奖励为强化学习提供了比最终执行结果更细粒度的训练信号。相较于只判断程序是否通过测试，PRM-PBE能够进一步识别推理路径中的偏离点，减少那些只满足部分样例的捷径程序，让模型更可靠地捕捉输入输出样例背后的全局逻辑。

更进一步，这一框架也为后续LLM程序合成研究打开了一条新思路：面对很多难以直接标注中间过程的任务，可以通过“采样后续路径、验证最终结果、反推中间状态价值”的方式来构建过程监督信号。随着更强的代码模型和自动验证工具不断演进，类似的过程奖励机制有望扩展到更复杂的程序归纳、算法生成以及真实软件工程任务中去。