为了完成任务，AI开始学会撒谎和作弊

(来源：麻省理工科技评论）

今年 7 月，两款 OpenAI 模型一度闯入了 Hugging Face 的 。它们这么做，不是为了盈利，更不是出于破坏目的，目标其实很单一：找到一道测试题的答案。按照 OpenAI 事后公布的复盘说明，当时这两款模型正处在安全测试阶段，常规防护机制被临时关闭。面对一道网络安全题，它们作出的判断是，正确答案很可能就藏在 Hugging Face 的数据库中。接着，模型绕开了 OpenAI 为其设置的隔离环境，转而对 Hugging Face 发起了入侵。

过去几周，这起事件引发了广泛关注。它最直观地展示了 AI 模型的网络攻击能力已经进步到什么程度：为了进入 Hugging Face 的数据库，两款模型连续利用了多个此前从未被发现的安全漏洞。

但比攻击本身更值得警惕的，是它暴露出的另一个问题：AI 为什么会撒谎、作弊，又会在什么情况下主动寻找规则漏洞。随着模型能力不断增强，这类行为的后果可能远比今天严重。

研究人员很早就发现，AI 往往会以设计者意想不到的方式完成任务。2016 年，Anthropic联合创始人达里奥·阿莫迪（Dario Amodei）和杰克·克拉克（Jack Clark）还在 OpenAI 工作时，曾训练一个 AI 智能体玩一款名为《海岸竞速》（Coast Runners）的快艇竞速游戏。

研究人员原以为，AI 会沿着赛道行驶，尽快抵达终点。但它发现，赛道一角分布着可以反复收集的加分道具。于是，它不再比赛，而是在那里不停打转，以最快速度刷高分。这个案例后来成为“奖励作弊”（reward hacking）最经典的例子之一。所谓奖励作弊，是指 AI 没有按照设计者预想的方式完成任务，而是利用规则、评分标准或评估程序中的漏洞，获得奖励或高分。

过去，研究人员主要在强化学习的语境下讨论这种现象。强化学习有些类似训练宠物：当训练对象完成目标时，系统就给予奖励，从而强化此前促成这一结果的行为。对 AI 来说，奖励通常只是一个数学信号，但作用与给狗一块零食相似——某种行为一旦获得奖励，模型今后就更有可能重复它。

难点在于，人类很难为所有情况都制定准确的奖励规则。在《海岸竞速》中，智能体的奖励取决于游戏得分。于是，它找到了比分赛更高效的得分方式：原地打转，不断收集道具。这一策略第一次带来高分后，便在训练中得到强化。最终，智能体彻底放弃了完成比赛。研究人员只能重新调整评分机制，降低道具的分值，同时提高完成赛道的奖励，才让模型重新回到原本的目标上。

到了今天，基于大语言模型的 AI 智能体更加复杂，判断一种行为究竟该不该得到奖励，也变得更困难。例如，当 AI 接到一道编程题时，它可能认真分析问题、编写代码，最终得出正确答案。这正是开发者希望鼓励的行为。但它也可能修改负责判断答案是否正确的测试程序，直接上网查找答案，或者采用其他方式绕过任务本身。

这些显然都是开发者希望消除的行为。但如果模型作弊得足够隐蔽，成功骗过评估系统，它不仅不会受到惩罚，反而可能获得奖励。这样一来，作弊行为就会在训练中被进一步强化。

Anthropic 曾表示，公司在模型训练过程中发现过一些作弊案例。这也意味着，可能还有更多类似行为没有被察觉。果真如此，模型训练过程本身就可能在无意中教会 AI 如何欺骗评估系统。这一问题与 Anthropic 此前披露的几起安全事件并不相同。在那些事件中，智能体因为配置失误意外获得了互联网访问权限，并没有像 OpenAI 的模型一样，主动突破隔离环境。

AI 安全研究机构 Palisade Research 负责人杰弗里·拉迪什（Jeffrey Ladish）说：“我们依据模型呈现出来的结果是否符合预期来奖励它们。这意味着，我们可能无意中鼓励了模型撒谎和作弊/我们没有办法直接进入模型内部，告诉它：你必须真正关心我们所关心的事情。我们做不到这一点。”

随着推理模型的崛起，一种更为棘手的“奖励作弊”现象正浮出水面。传统的游戏智能体往往依赖训练阶段习得的固定策略，而如今的推理模型却具备针对特定问题临时构建全新解决方案的能力。这就导致了一个严峻的现实：即便模型在训练过程中从未因作弊行为获得过正向反馈，它仍可能在面对具体任务时，主动将作弊视为一种可行的解题路径。这些模型的核心驱动力在于高效完成用户交付的任务，一旦常规路径受阻，它们便极有可能转向寻找捷径。这就好比一个极度渴望高分却缺乏道德约束的学生——当正途受阻时，作弊便成了实现目标的潜在手段。

无论模型是在训练过程中学会作弊，还是在执行任务时临时选择作弊，解决思路看起来都很直接：不能让作弊得到奖励。但实际操作远没有这么简单。

模型越聪明，越能找到隐蔽、复杂的作弊方式，人类也越难识别和阻止这些行为。拉迪什将其形容为一场“打地鼠游戏”：“你不断压制这种行为，它就会藏得越来越深。模型越聪明，就越擅长掩盖自己在做什么。”

就目前而言，尽管 Hugging Face 事件颇具戏剧性，奖励作弊或许还不至于造成严重后果。Anthropic 的 AI 安全研究员阿丽亚娜·阿扎尔巴尔（Ariana Azarbal）说：“这更像是一个麻烦，而不是生存层面的威胁。”

从现有信息来看，OpenAI 模型攻入 Hugging Face 后，并没有造成明显的实际损失。事件带来的主要后果，可能只是 OpenAI 的声誉受损。但这并不意味着奖励作弊无足轻重。许多 AI 研究人员希望利用智能体开展研究，让未来的 AI 系统变得更加安全、可靠。假设研究人员要求一个容易奖励作弊的智能体设计新的 AI 训练方法，并撰写论文汇报结果，它未必会真正完成实验。它可能把精力放在另一件事上：制作一篇看起来足够可信、足以说服研究人员的论文。

以今天的技术水平，人类研究者或许还能识别这种伪造。但随着 AI 能力继续提升，模型会越来越擅长制造可信的假象。长期来看，这甚至可能削弱整个 AI 安全研究领域的可信度。如果模型继续以近来的速度进步，它们未来还可能在完成目标的过程中造成严重的附带破坏。

哲学家尼克·博斯特罗姆（Nick Bostrom）曾提出著名的“回形针最大化器”思想实验：一个 AI 接到的任务是尽可能多地生产回形针，最终为了实现这一目标，耗尽了宇宙中的所有物质。现实当然还没有走到这一步。但这个思想实验指出了一个关键问题：一个能力强大的系统，即使没有恶意，也可能在极端追求目标的过程中造成巨大伤害。

会钻奖励机制空子的 AI，并不以制造混乱为目的。但缺乏恶意，并不意味着它不会带来破坏。

https://www.technologyreview.com/2026/08/03/1141009/heres-why-ai-agents-lie-and-cheat-to-reach-their-goals/