语言模型为何幻觉？OpenAI论文深度解析

**语言模型为何频频“幻觉”？OpenAI最新论文揭秘根本原因**。OpenAI最新研究《Why language models hallucinate》深入剖析了大型语言模型产生幻觉现象的深层原因，指出当前训练和评估机制存在偏差，鼓励模型在不确定情况下进行猜测而非坦诚承认。论文认为，模型“幻觉”的本质是倾向于生成看似合理但实则错误的答案，以迎合训练目标和评测指标，如同应试教育下学生为提高分数而选择瞎猜。这种机制奖励了确定性回答，即使答案错误，也优于表达不确定性，导致幻觉问题普遍存在。OpenAI强调，解决幻觉问题需从根本上改变评估标准，鼓励模型诚实表达无知，而非仅依赖技术手段进行幻觉检测，才能推动人工智能朝着更可靠、值得信赖的方向发展。

OpenAI 最近发布的一篇论文 《Why language models hallucinate》 探讨了语言模型出现幻觉的根本原因，指出当前的训练和评估机制实际上是在激励模型进行猜测，而不是在面对不确定性时坦然承认。

论文指出，语言模型之所以会“幻觉”——即在缺乏确切知识的情况下编造看似合理但实则错误的信息——正是由于现有的训练流程和评估标准更偏爱给出确定性答案的行为，哪怕这些答案是错的，也不鼓励模型回答“我不知道”。

这类似于一个学生在考试中遇到不会的题目时选择瞎猜，只为提高得分。大型语言模型在面对模糊或复杂问题时也会采取类似策略：与其表达不确定，不如生成一个看似合理的回答，从而在训练目标和评测指标中获得更高分数。

这种行为模式导致幻觉问题在当前最先进的模型中依然普遍存在，并严重削弱用户对模型输出的信任。

研究人员认为，语言模型的幻觉并不需要被视作某种神秘或不可控的现象，其根源在于基本的二元分类错误。当模型无法准确区分正确与错误陈述时，在预训练过程中就会受到统计上的偏差驱动，自然倾向于生成看似符合语言模式但实际上不真实的内容。

更关键的是，幻觉之所以长期存在，是因为主流的评估方式本身就存在问题：评分系统通常以答案是否“看起来正确”或是否匹配预期输出为标准，从而间接奖励了猜测行为。在这种机制下，模型被训练成了擅长应试的“考生”，而诚实表达无知反而会被扣分。

作者强调，要缓解这一问题，不能仅依赖技术手段增加幻觉检测模块，而必须进行社会技术性的改革——重新设计主导排行榜的基准测试评分规则，让承认不确定性不再被惩罚。

唯有如此，才能从根本上扭转模型的行为倾向，推动人工智能系统朝着更加诚实、可靠和值得信赖的方向发展。

以上就是本文的全部内容了，是否有顺利帮助你解决问题？若是能给你带来学习上的帮助，请大家多多支持golang学习网！更多关于科技周边的相关知识，也可关注golang学习网公众号。