NEWS / BLOG DETAIL

大模型会编造虚假信息吗?为什么会有 “幻觉”?

大模型可能编造看似合理但实际错误的信息,这类现象通常被称为**“幻觉(hallucination)”。更准确地说:它并不是“故意胡说”,而是它在生成文本时没有可靠的事实约束**时,很容易把“语言上通顺的东西”当成“事实”。

下面解释:会不会、为什么、以及怎么缓解。


1) 大模型为什么会“编造”?

大模型本质上是在做这样的事:

根据上下文,预测“下一段最可能出现的内容”(并生成完整回复)。

如果训练中学到过很多“类似结构/常见说法”,但当前问题需要的是精确事实(比如某条新闻、某个专有名词的准确数据、某个论文的具体结论),而模型又没有被提供可验证的来源,它就可能:

  • 生成一个“语义上很像对的答案”
  • 把不确定的细节“补齐”
  • 或用“相近概念”替换掉真实信息

结果就是看起来非常像真的,但实际上不对。


2) “幻觉”常见成因(主要不是单一原因)

A. 训练目标不是“事实校验”

预训练/微调通常优化的是文本预测质量与偏好,而不是“必须引用正确来源、必须保证可验证”。
所以它更擅长“写得像”,不天然保证“对得上事实”。

B. 不确定性被“强行输出”了

当信息不足时,人类可能会说“我不确定”。但很多聊天体验要求模型给出回答,于是模型会用概率最高/最连贯的方式继续生成,即使那不是真实事实。

C. 概念相似导致“以假乱真”

比如你问某公司或某事件的细节:

  • 模型可能在训练里学过大量相似案例
  • 于是用相邻知识拼装出一个“看上去合理的版本”

D. 上下文里没有证据约束

如果没有检索(RAG)、数据库或外部工具,模型只能依赖参数里的“记忆模式”。在需要精确数字、日期、引用关系时,这种方式更容易出错。

E. 推理链式生成带来的“自我扩展”

有些模型/设置会先生成中间解释再给结论:

  • 中间过程如果一开始就偏了,后续可能越推越像真
  • 最终结论会被错误的“解释框架”支撑起来

3) 幻觉有哪些典型表现?

  • 捏造来源:编造“某报告说/某论文研究显示…”但实际上不存在或引用错误
  • 错日期/错数值:数字、年份、排名错得很细但形式正确
  • 把相似事物混在一起:A项目的细节误用到B项目上
  • “合理但不可证”:说得通、却找不到对应证据

4) 怎么降低被幻觉影响?(实用方法)

A. 要求“证据/来源”

让它明确:

  • 引用哪些材料
  • 给出检索到的依据(如果系统支持 RAG)
  • 或至少给出不确定性说明

B. 用检索增强(RAG)

在回答前先去查资料,把“事实”交给外部来源,而不是只靠模型记忆。

  • 模型负责总结/解释
  • 事实由检索结果提供

C. 对关键结论做交叉验证

尤其是:

  • 医疗、法律、金融
  • 价格/库存/政策
  • 学术引用、数据结论

用其他可靠来源复核,效果最好。

D. 让模型标注不确定性

你可以要求它:

  • 若不确定就说“不知道/需要查证”
  • 或把回答拆成“已知/可能/不确定”

E. 减少“需要精确细节”的一次性请求

比如问“最新的精确数据”比问“概念性解释”更容易触发幻觉;前者更适合配检索。


5) 一句话总结

大模型会编造虚假信息的原因,是它在生成时主要优化“语言连贯与偏好”,缺少天然的事实校验机制;在信息不足或需要精确证据时,它会用概率上“说得通”的内容把空缺补上,于是产生幻觉。