第七章：幻觉

今天我们要讲的知识点是幻觉（Hallucination）。幻觉是指 AI 一本正经地说出完全错误的内容，而且从语气和格式上你几乎看不出它在瞎说。这不是技术不成熟，2024 年研究者用数学方法严格证明了：对于任何大语言模型，必然存在无穷多个输入会让它产生幻觉，无论怎么改进架构和数据。幻觉是 AI "预测下一个词"这种工作方式的必然代价，不是工程缺陷。

更深层的原因在于 AI 没有"我不知道"的机制。训练阶段，详尽自信的回答得分比"我不确定"高得多，这等于在教 AI 不管确不确定都要自信地给出答案。应对幻觉的核心策略不是寻找一个"不会幻觉的 AI"——那不存在——而是改变使用方式：把 AI 的输出当初稿不当定稿，涉及具体事实必须核实来源；用知识库让 AI 照着真实文档回答，或用 Agent 让它直接去查原始文件，把幻觉的空间压缩到最小。