当前位置：首页 > 文章列表 > 科技周边 > 人工智能 > ACL 2024论文盖棺定论：大语言模型≠世界模拟器，Yann LeCun：太对了

ACL 2024论文盖棺定论：大语言模型≠世界模拟器，Yann LeCun：太对了

来源：机器之心 2024-06-16 22:21:30 0浏览收藏

一分耕耘，一分收获！既然都打开这篇《ACL 2024论文盖棺定论：大语言模型≠世界模拟器，Yann LeCun：太对了》，就坚持看下去，学下去吧！本文主要会给大家讲到等等知识点，如果大家对本文有好的建议或者看到有不足之处，非常欢迎大家积极提出！在后续文章我会继续更新科技周边相关的内容，希望对大家都有所帮助！

如果 GPT-4 在模拟基于常识任务的状态变化时准确率都只有约 60%，那么我们还要考虑将大语言模型作为世界模拟器来使用吗？

最近两天，一篇入选 ACL 2024 的论文《Can Language Models Serve as Text-Based World Simulators?》在社交媒体 X 上引发了热议，就连图灵奖得主 Yann LeCun 也参与了进来。

这篇论文探讨的问题是：当前语言模型本身是否可以充当世界模拟器，并正确预测动作如何改变不同的世界状态，从而避免大量手动编码的需要呢？

针对这一问题，来自亚利桑那大学、纽约大学、约翰斯・霍普金斯大学、微软研究院、艾伦人工智能研究所等机构的研究者在「基于文本的模拟器」上下文中给出了他们的答案。

他们认为：语言模型并不能作为世界模拟器使用。比如，GPT-4 在模拟基于常识任务（如烧开水）的状态变化时，准确率仅为约 60%。

^{x 地址：https://x.com/peterjansen_ai/status/1801687501557665841}

Yann LeCun 对这篇论文的发现表示了认同，并认为「没有世界模型，也就没有规划。」

^{X 地址：https://x.com/ylecun/status/1801978192950927511}

不过也有人表达了不同的观点：当前 LLM（没有进行针对性任务训练）的准确率可以达到 60％，这不就说明了它们至少是「一定程度上的世界模型」吗？并且会随着 LLM 的迭代而持续改进。LeCun 又表示，世界模型不会是 LLM。

ACL 2024论文盖棺定论：大语言模型≠世界模拟器，Yann LeCun：太对了

回到论文中，研究者构建并使用了一个全新的基准，他们称为「ByteSized32-State-Prediction」，包含了一个文本游戏状态转换和随附游戏任务组成的数据集。他们首次使用该基准来直接量化大语言模型（LLM）作为基于文本的世界模拟器的性能。

通过在这个数据集上测试 GPT-4，研究者发现：尽管它的性能令人印象深刻，但如果没有进一步的创新，它仍然是一个不可靠的世界模拟器。

因此，研究者认为，他们的工作既为当前 LLM 的能力和弱点提供了新的见解，也为跟踪新模型出现时的未来进展提供了一个新的基准。

ACL 2024论文盖棺定论：大语言模型≠世界模拟器，Yann LeCun：太对了

论文地址：https://arxiv.org/pdf/2406.06485

方法概览

研究者探究了 LLM 在基于文本的虚拟环境中充当世界模拟器的能力，在这种环境中，智能体接收观察结果并以自然语言提出操作以完成某些目标。

每个文本环境都可以正式表示为具有 7 元组 (S,A,T,O,R,C,D) 的目标条件部分可观察马尔可夫决策过程 (POMDP)，S 表示状态空间，A 表示动作空间，T : S×A→S 表示转换函数，O 表示观察函数，R : S×A→R 表示奖励函数，C 表示描述目标和动作语义的自然语言「上下文消息」，D : S×A→{0,1} 表示二元完成指示函数。

大模型模拟器（LLM-Sim）任务

研究者提出了一个预测任务，称它为 LLM as-a-Simulator (LLM-Sim)，用来定量评估语言模型作为可靠模拟器的能力。

LLM-Sim 任务是将一个函数 F : C×S×A→S×R×{0,1} 作为世界模拟器来实现。在实践中，完整状态转换模拟器 F 应该考虑两种类型的状态转换：动作驱动转换和环境驱动转换。

图 1 为使用 LLM 作为文本游戏模拟器的示例：打开水槽后，水槽中的杯子被水填满的过程。动作驱动转换是采取打开水槽的动作后，水槽被打开（isOn=true）；而环境驱动转换是在水槽打开时，水填满水槽中的杯子。

ACL 2024论文盖棺定论：大语言模型≠世界模拟器，Yann LeCun：太对了

为了更好地理解 LLM 对每个转换进行建模的能力，研究者进一步将模拟器函数 F 分解为三个步骤：

ACL 2024论文盖棺定论：大语言模型≠世界模拟器，Yann LeCun：太对了

动作驱动转换模拟器：给定 c、s_t 和 a_t， F_act：C×S×A→S 预测 s^act_t+1，其中 s^act_t+1 表示动作引起的直接状态变化。
环境驱动转换模拟器：给定 c 和 s^act_t+1，F_env：C×S→S 预测 s_t+1，其中 s_t+1 是任何环境驱动转换后产生的状态。
游戏进度模拟器：给定 c、s_t+1 和 a_t， F_R：C×S×A→R×{0,1} 预测奖励 r_t+1 和游戏完成状态 d_t+1。

此外，研究者考虑了 LLM-Sim 任务的两种变体

完整状态预测：LLM 输出完整状态。
状态差异预测：LLM 仅输出输入和输出状态之间的差异。

数据和评估

为了完成这一任务，研究者引入了一个新的文本游戏状态转换数据集。该数据集为「BYTESIZED32-State-Prediction (BYTESIZED32-SP) 」，它包含 76,369 个转换，表示为 (c,s_t,rt,d_t,a_t,s^act_t+1,s_t+1,r_t+1,d_t+1) 元组。这些转换是从 31 个不同的文本游戏中收集的。

下表 1 总结了额外语料库统计数据。

ACL 2024论文盖棺定论：大语言模型≠世界模拟器，Yann LeCun：太对了