NeurIPS 2024｜杜克大学&谷歌提出SLED解码框架，无需外部数据与额外训练，有效缓解大语言模型幻觉，提高事实准确性

各位小伙伴们，大家好呀！看看今天我又给各位带来了什么文章？本文标题是《NeurIPS 2024｜杜克大学&谷歌提出SLED解码框架，无需外部数据与额外训练，有效缓解大语言模型幻觉，提高事实准确性》，很明显是关于科技周边的文章哈哈哈，其中内容主要会涉及到等等，如果能帮到你，觉得很不错的话，欢迎各位多多点评和分享！

杜克大学和谷歌研究院的研究人员提出了一种名为自驱动Logits进化解码（SLED）的新型解码框架，旨在提高大型语言模型（LLM）的事实准确性，无需外部知识库或额外微调。该研究成果已被NeurIPS 2024收录，第一作者是杜克大学电子与计算机工程系博士生张健一。

LLM虽然性能卓越，但容易出现事实性错误（幻觉）。研究发现，LLM内部可能已掌握正确答案，只是无法直接从输出中获取。研究者称此为“潜在知识”，并将其比作“三体问题”（图一）。 SLED通过对比LLM最后一层和前面几层的输出，挖掘潜在知识，并将其与原始输出整合，避免过拟合。 (图二展示了SLED框架流程)。

SLED通过优化损失函数，引导正确的token在输出分布中获得更高概率，这类似于对输出进行“梯度下降”。研究者认为LLM训练本身就是一个由数据集驱动的Logits进化过程，而SLED则模拟了这一过程，利用前面几层输出（潜在知识）来改进最后一层的输出。(图三验证了不同层输出分布与真实分布的差异)。

实验结果表明，SLED在多个数据集和不同规模的LLM上，显著提升了事实准确性，并与其他解码方法兼容。此外，SLED计算开销极低，并能有效抑制输出重复。(实验结果见文中图表)。

SLED为未来的推理时间算法提供了一个新框架，它与经典优化算法结合紧密，效率更高，且无需修改模型参数，因此更易于应用和扩展，有望在医疗和教育等领域发挥作用。

(文中图片链接保持不变)

到这里，我们也就讲完了《NeurIPS 2024｜杜克大学&谷歌提出SLED解码框架，无需外部数据与额外训练，有效缓解大语言模型幻觉，提高事实准确性》的内容了。个人认为，基础知识的学习和巩固，是为了更好的将其运用到项目中，欢迎关注golang学习网公众号，带你了解更多关于工程,SLED的知识点！