伊利诺伊大学与Meta联手：让AI学会"自我质疑"，多模态推理能力大幅提升

这项由伊利诺伊大学厄巴纳-香槟分校与Meta合作完成的研究，以预印本形式发布于2026年7月，论文编号为arXiv:2607.10966，感兴趣的读者可以通过这个编号检索到完整原文。研究者们提出了一个名为“自我验证推理器”（SVR-R1）的训练框架，核心思路很直白：让视觉语言模型在回答问题后，主动质疑自己的答案，觉得不对就重新想，再通过这种“自我审查”机制，大幅提升在图表、表格等多模态理解任务上的准确率。

先说个每个人都有的体验——考试时答完一道题，偶尔会停下来问自己：“这答案真的行吗？”然后重新检查一遍推理过程，发现漏洞，赶紧改。这种“先作答、再自查、不满意就重做”的习惯，在人类学习里几乎是本能。研究者们好奇：能不能让AI也学会这套路？

一、为什么AI的“自我怀疑”是个难题

现有的视觉语言模型——就是那种能看图并回答问题的AI——面临一个有趣的困境：它们生成答案还行，但“检查自己答案对不对”这件事上就没那么靠谱了。学界有个说法叫“验证比生成更容易”，意思是，如果模型对某个问题理解足够深，判断一个给定答案的对错，理论上比从零开始生成正确答案要简单——就像批改作文比写作文轻松一样。

但在多模态场景下，也就是同时涉及图片和文字的任务里，这个规律没那么明显。因为看图本身就比纯文字任务复杂得多：模型得读懂文字，还得理解图像内容，再把两者结合起来推演。早期研究表明，哪怕是GPT-4o这样的顶尖商业模型，在某些视觉任务上也只能做到有限程度的自我验证，而且很容易因为过度“自我审查”而产生幻觉或错误。

另一个障碍在训练方式上。以往让模型“反思自己答案”的尝试，要么简单地在问题后附一句“请再想想”，要么用人工标注的“好答案”反复告诉模型哪种回答更好——两种都额外需要人工干预或外部监督。研究者们目标明确：找一条不需要任何外部裁判、完全靠模型自己“内部审查”的训练路径。

二、核心思路：让同一个模型同时扮演“答题者”和“考官”

SVR-R1的设计思路，可以想象成一场特殊的考试：同一个学生既负责作答，又负责批改自己的试卷。具体流程是这样的：模型先对着题目（包括图片和文字）给出一个初步答案，然后切换身份，用同样一套“大脑”——也就是完全相同的模型参数——来审视这个答案，只输出一个字：“YES”或者“NO”。如果判定自己的答案是对的，就直接提交评分；如果判定是错的，系统会告诉模型“验证者不认可你的回答，请重新思考”，然后模型在看过自己第一次的答案后，尝试给出修正版。

这个“再想一次”的机会最多可以重复若干轮——实验中设定为最多三轮。每一轮的完整对话记录都会保留下来，模型下一轮思考时可以参考前面所有的尝试。最终，当模型自我判定答案正确，或者达到轮次上限时，最后那个答案会被送去和标准答案比较，得到一个正确或错误的信号，这个信号就是训练中用来指导模型进步的奖励。

关键在这儿：整个过程中验证和生成共享同一套模型参数，不需要额外训练一个专门的“考官模型”，也不需要人类在中间做任何干预。这就像一个学生不借助任何参考资料、不问老师，完全靠反复审视自己的思维过程来发现错误并改正。

三、训练机制：强化学习如何让“自我质疑”变成本能

这套训练框架建立在一种叫做GRPO（组相对策略优化）的强化学习算法上。强化学习的思路不难理解：当模型给出好的答案时，就给予正向信号鼓励它；当答案不好时，就给予负向信号让它避开类似的推理路径。长期下来，模型会自然地倾向于产生能得到高分的推理方式。

GRPO的特别之处在于，它不需要一个专门学习“打分”的神经网络（即通常所说的“价值函数”），而是每次从模型中采样一组答案，用这组答案之间的相对好坏来估算每个答案的价值。这就好比一个班级里同时交了三十份作文，老师不是按照绝对标准打分，而是把这三十份作文互相比较，排出优劣。这样做的好处是省去了维护一个独立评分系统的开销，训练更高效。

在SVR-R1的设定里，每道题目会生成一组带有自我验证循环的完整对话，组内所有对话都参与相对比较。最终提交给评分的只有每组对话里最终确定的那个答案，中间过程的验证词（YES/NO）不会被纳入损失计算，这样可以避免模型同时优化“如何说YES/NO”和“如何给出正确答案”这两个可能相互冲突的目标。这个处理方式借鉴了另一项让模型学会结合搜索引擎推理的工作（Search-R1）中的多轮对话损失屏蔽技术。

奖励的设计相当直接：对于图表和表格类的半开放式问答题，用一个独立的大语言模型（gpt-oss-120b）来判断预测答案和标准答案是否等价，给出0或1的二元奖励；对于几何数学或多项选择题这类有明确正确答案的任务，直接用规则匹配来判断。这里没有任何关于“格式对不对”或“回答是否够长”的奖励，只看最终答案的实际准确性。

四、用来验证想法的三类数据

为了检验这套机制是否真正有效，研究者们选择了三类难度各异的多模态任务。第一类是图表推理，使用ChartQA数据集，其中包含826道测试题，全部是关于条形图的逻辑比较和视觉分析，训练数据则来自14344个图表问答样本；第二类是表格问答，使用TableVQA数据集，共1250道关于各种表格的问题，包含表格事实判断、数值比较等多种形式，其中七成用于训练，三成用于测试；第三类是更通用的多模态推理，使用ThinkLite-VL-70K数据集，涵盖几何数学、图像理解和图表解读等多个方向，共七万个样本。

研究团队使用Qwen2.5-VL作为基础模型，分别在30亿参数（3B）和70亿参数（7B）两个规模上进行实验，并在开源的VeRL框架上实现了支持多模态、多轮对话的异步强化学习训练流程。对比实验严格控制了变量：Qwen-RL用完全相同的数据和超参数进行标准GRPO训练，唯一的区别是没有加入自我验证循环，以此来单独评估“自我质疑”机制带来的收益。

五、结果：数字背后的真实收益

在图表推理任务上，3B规模的基础模型（Qwen2.5-VL 3B）纯推理准确率为63.3%，经过标准GRPO训练后提升到80.5%，而加入SVR-R1自我验证机制后进一步达到83.3%，比标准训练基线高出约2到3个百分点。7B规模的模型同样呈现类似趋势：基础模型76.0%，标准GRPO训练后80.4%，SVR-R1训练后82.9%。

在表格问答任务上，提升效果更为明显。3B模型从基础56.4%经过标准GRPO训练到68.3%，再通过SVR-R1训练跃升至72.4%，增幅超过四个百分点。7B模型则从67.8%的基础线，经标准训练升至78.7%，再经SVR-R1训练达到80.3%。

对比市面上其他模型的数据颇具说服力：R1-VL（7B版本）在图表任务上为73.2%，GPT-4o（商业闭源模型）为77.8%，SVR-R1 3B模型以83.3%的成绩超过了所有对比方。在表格任务上，GPT-4o以76.9%领先，而SVR-R1 7B以80.6%的成绩超出GPT-4o约四个百分点，且SVR-R1完全不需要额外的监督微调（Extra SFT）数据，而不少对比模型是需要的。

在更通用的ThinkLite-VL任务上，SVR-R1 7B在MathVista上得到71.6分，在MathVision上得到19.1分，在MMStar上得到49.3分，在AI2D上得到81.4分，除AI2D外均略微超过同等条件下的标准GRPO最优结果。

六、训练过程中最令人着迷的现象

数字上的提升固然可喜，但研究团队在观察训练动态时发现了一个更耐人寻味的现象：随着训练的推进，模型启动“自我质疑”循环的频率在持续下降。在训练初期，模型经常需要两轮、三轮才能对自己的答案感到满意；但随着训练步骤的增加，模型在第一轮给出答案后，自我验证就直接输出“YES”的情况越来越多，平均轮次逐渐收敛到大约2（一次生成加一次立即确认）。

与此同时，测试准确率仍在持续上升。这说明一件重要的事：模型并不是因为“懒得质疑”而减少了验证轮次，而是因为它的初次作答质量越来越高，以至于自我审查后无需修改。换句话说，SVR-R1训练让模型把“自我质疑能力”内化为了“一次就答对的能力”，验证与生成之间的差距在逐渐弥合。

研究团队还特别考察了推理时“是否运行验证循环”对最终成绩的影响。结果显示，在训练后期，直接输出答案（不运行验证循环）和运行验证循环后输出答案的准确率几乎相同。这对实际部署来说意义重大，因为不需要在推理时运行额外的自我验证步骤，计算开销就不会增加，而模型已经把那套思维习惯嵌入了自身。

七、自我反思是真实发生的，还是只是“演戏”

研究团队在论文附录中提供了一个具体的案例，生动展示了模型在SVR-R1训练后的自我反思过程，颇值得关注。题目是识别一张猫的图片中的品种。

第一轮，模型给出了“虎斑猫”这个答案，虽然在推理过程中已经提到猫的毛色可能是“calico（三花猫）或玳瑁猫”，但最终仍然选择了错误的答案。自我验证判定为NO，系统提示“验证者不认可你的回答，请重新思考”。

进入第二轮时，模型写道“考虑到验证者的异议，我将重新根据可见特征评估猫的品种”，随后分析了毛色的白黑棕混合特征，得出结论“这应该是一只三花猫”，答案修改为“calico”，与正确答案一致。有趣的是第二轮的验证仍然给出了NO（这可能是模型在训练早期尚未完全可靠），但第三轮模型重新推理后仍然维持了“calico”的判断，并在表述上变得更加谨慎，加入了“我也承认……的可能性”这样的措辞。

这个例子显示，模型在被告知“答案不对”后，确实会改变推理路径，从最初的笼统判断转向对具体可见特征（毛色比例、耳型等）的细致分析，并在随后的轮次中保持更高的信心。

八、什么时候自我验证反而没用

研究团队还诚实地报告了SVR-R1失效的场景，这对理解这套机制的边界同样重要。当用MCTS（蒙特卡洛树搜索）算法专门筛选出的高难度11K数据集进行训练时，SVR-R1没有带来任何准确率的提升，反而出现了验证轮次随训练持续增加的现象——模型反复质疑自己，却始终找不到更好的答案。

这个结果并不令人意外。自我质疑的前提是“更好的答案是可以通过反思找到的”，但对于超出当前模型能力上限的问题，无论质疑多少次，正确答案都无法凭空产生。研究团队将SVR-R1的价值定位为“在中等难度问题上榨取更多正确答案”，而非解决所有难题的万能工具。这种定位与另一项语言模型训练中的难度课程研究相吻合，该研究同样发现用“当前模型能力恰好能够攻克的中等难度样本”进行训练，效率最高。

九、一点工程细节：为什么计算开销没有暴增

一个自然的担忧是：如果每道题都要额外跑好几轮验证，训练时间不会大幅增加吗？研究团队给出的数据是：在实现得当的情况下，整体计算开销仅增加约10%的墙钟时间（即实际运行时间）。原因在于验证和生成共享同一套模型参数，不需要在GPU之间搬运权重，而异步化的多轮推理框架也避免了不同长度序列之间互相等待造成的空转浪费。这个数字比许多研究者预想的要小得多，使得SVR-R1在实际应用中的可行性大大提升。

从另一个角度来看，训练阶段多花10%的时间，换来的是推理阶段不需要额外验证步骤就能获得更准确的答案，长期来看反而可能是合算的。

说到底，SVR-R1这项研究的核心贡献并不只是一个准确率数字的提升，而是提供了一种思路：把AI的“自我质疑”能力整合进强化学习的训练循环，让模型在不依赖外部老师或额外数据的情况下，通过大量的“作答→质疑→修正”循环，把这种反思习惯逐渐内化为更高质量的初次作答。当这种内化完成后，验证这个“脚手架”就可以安静地退场了。

这个过程有点像一个初学者司机，刚开始每次停车都要在心里反复确认“方向盘够不够正、前后距离是否安全”，说出来给自己听；练习够多之后，这些检查变成了直觉，不再需要明确的自问自答，但停车精度反而提高了。SVR-R1做的事情，正是在AI的训练阶段创造大量这样的“自言自语检查”机会，帮助模型建立更可靠的内在判断标准。

当然，这套方法目前还有局限。它对任务难度敏感，在超纲问题上收效甚微；它依赖模型本身已经具备一定的自我验证潜力，而不同基础模型的这种潜力差异可能相当大；它的实验范围目前集中在图表和表格理解，在更开放的视觉推理场景上是否同样有效，还需要更多的验证。

如果你对这套训练机制的完整细节感兴趣，原论文可通过arXiv编号2607.10966查阅，研究团队也承诺将开源SVR-R1的完整代码，方便研究者在自己的场景中尝试和扩展。一个值得继续思考的问题是：随着视觉语言模型自我验证能力的不断增强，这种“把推理时的自查整合进训练”的范式，会不会成为提升AI可靠性的一条通用路径？

Q&A

Q1：SVR-R1是什么，它和普通的视觉语言模型训练有什么不同？

A：SVR-R1（自我验证推理器）是一种多轮强化学习训练框架。与普通训练相比，SVR-R1在每次模型给出答案后，会让同一个模型扮演“考官”角色，判断自己的答案对不对。如果认为不对，就会触发一次重新作答。整个过程不需要额外的监督数据或外部裁判模型，完全由模型自己完成“作答→质疑→修正”的循环，最终只有最后确定的答案会参与奖励计算。

Q2：SVR-R1训练后模型验证轮次减少是不是说明自我验证没用了？

A：恰恰相反。验证轮次减少是一个积极信号，说明模型的初次作答质量越来越高，以至于自我审查后不需要修改。研究发现，训练后期模型在“直接输出答案”和“经过验证循环后输出答案”两种模式下的准确率几乎相同，这意味着模型已经把自我反思的能力内化为了更高质量的直接判断，验证机制完成了它的“脚手架”使命。

Q3：SVR-R1在所有类型的问题上都有效吗？

A：不是的。SVR-R1对“中等难度”问题最有效，即当前模型通过反思确实有机会找到正确答案的问题。当研究团队用专门筛选的高难度11K数据集进行训练时，SVR-R1没有带来准确率提升，反而出现验证轮次持续增加但答案始终未能改善的情况。原因在于，超出模型能力上限的问题无法靠反思凭空解决，自我质疑在这种情况下只会徒增计算开销。