最近刷到好多人在讨论AI幻觉的问题，说现在大模型生成的虚假信息越来越多，普通人根本分不清真假。说实话，我看到这类讨论的时候心情挺复杂的。一方面觉得终于有人开始认真对待这个问题了，另一方面又觉得很多讨论的方向偏了，总在期待"下一个版本的模型就能解决幻觉"。

我想直接说破一件事，AI幻觉不是bug，是大模型的本质属性。你等着GPT-6、GPT-7来解决这个问题，大概率会失望。

为什么这么说？先搞清楚幻觉到底从哪来。很多人以为幻觉是模型不够大、参数不够多导致的，等模型再大一点就自然消失了。真不是。我接触过不少垂直领域的智能化项目，发现一个很有意思的现象，模型越大，在通用领域表现越好，但到了专业垂直领域，照样犯低级错误。而且犯的错还特别像那么回事，不是那种一眼假的胡扯，是有鼻子有眼、逻辑自洽的错误。

这里面的核心问题叫"暗知识"。什么是暗知识？就是那些存在于特定行业、特定领域内部，但从来没有被系统整理过、没有出现在公开互联网上的知识。这些知识可能是老工程师传下来的操作口诀，可能是某个行业内部约定俗成的标准，可能是只有做过项目踩过坑才知道的细节。大模型的训练数据来自互联网，互联网上没有的东西，模型再大也不可能"知道"。它只会根据上下文概率，给你生成一段看起来最合理的话。

所以大模型和结构化知识的关系，不是加法，是乘法。 模型知识负责覆盖通用常识和语言表达能力，本体知识或者说结构化知识，负责补上垂直领域的关键盲区。没有这块结构化知识打底，模型再大，到了专业领域就是在"裸奔"。这也是为什么你会感觉现在虚假信息越来越泛滥的原因之一。模型越强，语言组织能力越好，包装错误的能力就越强。以前的模型说错话，你可能读两句就觉得不通顺。现在不一样了，它能用极其流畅、极其专业的语气，把一个完全错误的结论讲得头头是道。普通人没有领域知识，根本分辨不出来。

我之前做电力教育相关的AI项目的时候，对这个问题感触特别深。电力行业有很多安全规程，是零容错的。你记错一条，不是工作做得好不好的问题，是要出人命的。最开始我们也想，那就找个最好的大模型，把电力安全规程都喂进去，做微调，做RAG，不就行了？结果做着做着就发现不对。你问它一个具体的操作规范，它能给你输出一段非常流畅的回答，用词专业，结构清晰，但关键数值就是错的。而且你不对照原文逐字核对，根本发现不了。

那段时间我意识到一件事，在零容错场景下，幻觉治理不是优化问题，是架构问题。 你不能指望通过调参、prompt工程、或者换个更大的模型来彻底消灭幻觉。你得从根上改思路，从"假设模型是对的"改成"假设模型一定会错"，然后围绕这个假设搭建整套系统。

那具体怎么搭？我后来在做报告生成类项目的时候，摸索出一套"三阶段事实性约束"的方法，亲测有效。第一阶段是结构化输入，就是所有关键数据、核心数值，都不能让模型自己生成，而是通过结构化的方式喂进去，模型只负责组织语言。第二阶段是模板化生成，关键信息的位置用占位符锁定，模型只能在允许发挥的区域进行表达。第三阶段是交叉验证输出，生成结果出来后，再用另一个通道的数据做一次比对，数值对不上就直接打回。

这套方法的核心思想很简单，不让模型碰它不该碰的东西。 模型擅长的是理解、总结、表达，那就让它干这些。事实、数据、结论这些容易出幻觉的地方，用结构化手段锁死，不让模型有发挥的空间。

当然，三阶段约束更多是针对数值类、数据类的幻觉。面对更广泛的虚假信息问题，还需要更系统的治理框架。我把它总结成三句话，大胆试错，小心归因，人类终裁。

大胆试错是什么意思？就是不要只走一条路径。同一个问题，让多个模型、多种方式并发生成答案。如果五条路径得出的结论一致，那可信度就高。如果有的说东有的说西，那就说明这个问题本身存在争议，或者模型在这个点上容易出错，需要格外警惕。多路径生成本身就是一种幻觉检测机制。

小心归因，就是证据审计。每一个结论、每一个关键判断，都要能追溯到它的信息来源。是来自哪份文档、哪条规程、哪个数据库，都要有据可查。不能说"模型说的"，那等于没说。真正可靠的AI系统，输出的不应该只是答案本身，还应该附带完整的证据链。用户看到答案的同时，也能看到这些信息是从哪来的，自己可以去验证。

最后是人类终裁。这个说起来好像是废话，但我觉得特别重要。很多人做AI系统，总想着彻底自动化，最好全程没人什么事。但至少在目前这个阶段，以及未来很长一段时间里，人类的最终裁决都是必不可少的。AI可以做初筛、做整理、做辅助判断，但涉及到关键决策、涉及到事实真伪的最终认定，必须有人来拍板。这不是效率问题，是底线问题。

回到最开始的问题，AI幻觉导致虚假信息越来越泛滥，怎么办？我觉得答案可能和很多人想的不一样。真正的解药不是更好的AI，而是更好的AI加人的协作方式。

我们这代人可能需要接受一个现实，就是从此以后，我们接触到的信息里，有相当一部分是AI生成的，其中必然夹杂着各种或明显或隐蔽的错误。指望AI自己变完美是不现实的。我们要做的，是学会和一个"会犯错但效率极高"的智能体协作。知道它什么时候靠谱，什么时候可能出问题，知道怎么去验证它给的答案，知道在什么情况下必须自己做最后的判断。

从另一个角度说，虚假信息泛滥也不全是坏事。它逼着我们每个人都重新学会一件事，就是批判性思考。以前我们可能觉得印在书上的、发在网上的就是真的。现在不行了，不管是谁说的，不管说得多么流畅多么有道理，都得在脑子里打个问号。信息越容易获得，辨别能力就越重要。这可能是AI时代给每个人上的第一课。

公众号 & 知识星球 [SG AI实验室]