AI幻觉应彻底消灭？专家：管住高风险场景，留出创新空间

保安和AI聊了半年，满心欢喜准备签约作品，到头来发现是一场骗局；用户听信了一句“放心退”，结果退张机票反被扣了六百块；AI搜索一个误判，好端端的执业律师瞬间成了“罪犯”……当AI深度嵌入我们的生活与工作，它那种面不改色、逻辑自洽的“胡说八道”——也就是所谓的“幻觉”——问题正变得越来越扎眼。用户们在将信将疑中摇摆，不禁要问：这些幻觉究竟从何而来？我们又该如何应对，甚至“消灭”它？

近期，一场以“AI出错，谁为模型‘幻觉’买单？”为主题的研讨会在北京举行。会上，360智脑技术副总裁、360AI高级研究员孙林提出了一个颇具启发的视角：AI幻觉未必全是坏事，它某种程度上是AI创造力和想象力的体现，甚至可能孕育新的认知。因此，治理的关键不应是“一刀切”地追求零幻觉，而应开展场景化、分层级的可信治理，针对不同风险情形下的幻觉问题，采取差异化的处置策略。

360智脑技术副总裁、360AI⾼级研究员孙林。摄影：南都记者莫倩如

被放大、利用、制造的AI幻觉更危险

那么，到底什么是AI幻觉？从技术层面看，它指的是生成式AI系统根据用户引导，输出那些看起来合情合理，实则事实错误、证据不足、偏离指令或逻辑矛盾的内容。说直白点，就是“一本正经地胡说八道”。

AI幻觉并非单一技术漏洞所致，而是一种涉及多层面的系统性风险。首当其冲的是数据层。大模型的训练和推理依赖海量数据，数据的质量直接决定了输出内容的准确性。

这里有个简单的逻辑：如果在训练材料里，错误信息出现了成百上千次，而正确信息只出现寥寥几次，那么模型生成错误内容的可能性就会大大增加。再加上许多高质量的专业数据集并非轻易可得，导致AI在面对某些专业问题时，也只能靠“脑补”和“编造”来应付。

追根溯源，当前大多数模型采用的都是概率建模法。实际操作中，模型会根据用户输入的前几个字，去“猜测”下一个最可能的字。既然是猜测，就必然存在对错之分。模型内部参数的设置，会直接影响其推理风格是保守还是激进，这也解释了为何不同模型的“幻觉率”会有高低之别。通常，给模型更长的“思考”时间，增强其自我反思与校验能力，有助于降低幻觉产生的概率。

风险还可能来自系统层面。如今，几乎没有哪个AI应用是仅靠单一模型在背后支撑的，它往往还整合了搜索引擎、智能体工具等多种能力。这意味着，在复杂的技术链条上，任何一个环节出纰漏，都可能让最终结果“跑偏”。更有甚者，一些产品在设计上，将模型的“猜测”性内容，包装成斩钉截铁的确定性答案呈现给用户，这无疑增加了用户轻信的风险。

业内有一个基本共识：AI幻觉是技术发展过程中一个难以避免的阶段性问题。但眼下更值得警惕的是，幻觉已不再只是自然发生的“技术缺陷”，它开始被别有用心者放大、利用，甚至被系统性“制造”。

今年央视“3·15晚会”就曝光了一条利用“生成式引擎优化”（GEO）技术进行“AI投毒”的黑灰产业链。其手法是通过在互联网上定向、大规模地向AI模型投喂虚假信息，从而“洗脑”模型，操控其输出结果。

在这种“黑帽GEO”的操纵下，AI模型会更容易引用并输出那些带有偏向性乃至完全错误的信息。这种被制造和放大的幻觉，远比传统广告或谣言更为隐蔽和危险。它不仅侵害消费者权益、扰乱市场，从长远看，还可能对更广泛的社会秩序乃至国家安全构成威胁。

说到底，AI幻觉不只是一个模型层面的“Bug”，而是一个贯穿数据、模型、系统、产品乃至应用的系统性问题。因此，也需要在从模型设计到数据治理的全链条上，协同降低风险。

要避免模型“裸答”，还要避免“强行答”

事实上，AI幻觉带来的现实危害已屡见不鲜。从误导操作导致财产损失，到编造谣言引发名誉侵权，“谁来买单”成了尖锐的法律与伦理问题。

不同司法辖区给出了不同的答案。近期，德国一家法院做出里程碑式判决，认定即便AI提供了参考链接并进行了真实性免责提示，谷歌仍需为其幻觉问题承担直接责任。而在国内“全国首例AI幻觉侵权案”中，法院则展现出另一种思路，更侧重平衡发展与风险，认可了AI公司已采取的必要提示措施，判其不构成侵权。

那么，责任究竟该如何划分？在孙林看来，这需要多方共同构建。模型提供方无疑是关键一环。技术不成熟可以解释幻觉的存在，但不能成为逃避问责的“挡箭牌”。模型方有责任持续提升技术能力以降低高风险幻觉，明确自身能力的边界，并在输出时更清晰地表达不确定性。

平台和产品方同样责无旁贷。将AI能力接入医疗、金融、法律等高危场景，本身就意味着需要承担更高的注意义务。此外，对于那些恶意“投毒”、诱导模型的数据和内容源头，也必须予以坚决规制。当然，作为使用者，我们每个人也需要提升自身的“AI素养”，保持审慎，不盲从、不轻信。

一个更有趣的追问是：我们真的需要“彻底消灭”所有AI幻觉吗？孙林的答案是否定的。

在他看来，某些“幻觉”就像是人类创意工作者进行的“头脑风暴”，恰恰是AI创造力和想象力的体现。在金融、医疗、政务等严肃场景，容错率极低，减少幻觉至关重要。但在创意构思、科学研究等探索性领域，模型基于既有知识进行跨领域联想、重组和外推的能力，可能催生出意想不到的新观点、新发现。

“我其实更倾向于称之为‘AI偏离’。”孙林进一步区分了两种偏离：一种是“误导性偏离”，即内容偏离了事实或证据，却被包装成可信结论误导用户，这类必须重点治理；另一种是“探索性偏离”，其生成内容虽暂时无法被现有知识库完全验证，却可能孕育新的认知。

这背后存在一个根本性的权衡：如果把模型训练成一个只会复述已知事实的“保守派”，它在开放式、创造性任务上的价值就会大打折扣。许多碘伏性的新观点、新发现在诞生之初，往往都不符合主流认知，也缺乏权威背书。如果AI系统将一切暂未被公认的想法都简单判定为“错误”，那无异于扼杀了宝贵的创新火花。

因此，解决幻觉问题的核心思路，在于根据不同场景的任务属性，设定差异化的验证目标。在医疗问答、法律咨询等事实型任务中，必须强调“真实性约束”，严格核对信息来源，有一说一。当问题超出模型能力边界时，它更应该懂得“知之为知之，不知为不知”，学会拒绝回答。

而在科学研究、创意发想等探索型任务中，则应追求“可检验性约束”。不要求输出内容立马被证实，但至少不能与已知的基本自然规律相悖，并且其逻辑本身能够被后续的实验或推理所检验。

“未来的AI系统或许不该只有一副面孔，”孙林总结道，“它应该能在不同场景中灵活切换角色——有时是谨慎可靠、可追责的专业顾问；有时则是帮人类开拓思路、提出新颖假设的‘生成器’。”

场景化治理：高风险严控，创意域保留空间

基于上述认识，针对AI幻觉的治理，核心并非追求一个不可能实现的“零幻觉”乌托邦，而是推行场景化、分层次的可信治理。那么，从企业的一线实践出发，具体该如何操作？

孙林从产品设计角度给出了清晰建议：对于创意生成、头脑风暴这类低风险、开放式场景，可以适当保留模型的发散能力，但必须明确标注输出内容“仅为灵感假设，并非事实结论”。

在搜索问答、教育辅导、消费建议等中等风险场景，则应强化信息来源的展示，增加不确定性提示（比如“这可能存在多种解读”），并尽可能为用户提供多元的视角或答案选项以供参考。

到了医疗、法律、金融、政务等高危场景，就必须引入更严格的机制。包括但不限于：优先调用并标注权威知识源；限制模型直接给出确定性结论，更多以辅助、提示形式呈现；明确建议关键决策需经人工复核；保留完整的操作日志以供审计追溯；甚至在极端情况下，设定AI只提供背景信息，而将最终决策权完全交还给人。

最后，还有一个关键提醒：企业既要避免模型在毫无校验的情况下“裸答”用户，也要避免为了满足用户而“强行答”。在生成答案后，增加事实核验、来源追溯和高风险内容拦截等环节，避免将未经打磨的“初稿”直接交付。

更重要的是，莫要因噎废食。在那些需要想象力和突破性的科研与创意领域，务必给模型保留一定的“假设生成”空间。治理的目标应是管理风险，而非用“一刀切”的方式，扼杀所有看似“偏离”却可能蕴藏价值的可能性。

出品：南都数字经济治理研究中心

采写：南都N视频记者 樊文扬