图灵奖得主Yoshua Bengio新作：Were RNNs All We Needed?

小伙伴们对科技周边编程感兴趣吗？是否正在学习相关知识点？如果是，那么本文《图灵奖得主Yoshua Bengio新作：Were RNNs All We Needed?》，就很适合你，本篇文章讲解的知识点主要包括。在之后的文章中也会多多分享相关知识点，希望对大家的知识积累有所帮助！

自从 Transformer 模型问世以来，试图挑战其在自然语言处理地位的挑战者层出不穷。

• 论文标题：Were RNNs All We Needed?
• 论文地址：https://arxiv.org/pdf/2410.01201v1

由此产生的模型比原始 GRU 效率大大提高，只需要  个参数，而不是 GRU 的  个参数（其中 d_x 和 d_h 分别对应于 x_t 和 h_t 的大小）。在训练方面，minGRU 可以使用并行扫描算法进行并行训练，从而大大加快训练速度。

在实验部分，研究者展示了在 T4 GPU 上，当序列长度为 512 时，训练步骤的速度提高了 175 倍。参数效率的提高也非常显著。通常，在 RNN 中会进行状态扩展（即  ，其中 α ≥ 1），使模型更容易从输入中学习特征。

与 LSTM 的  相比，最小版本（minLSTM）的效率明显更高，只需要  个参数。此外，minLSTM 可以使用并行扫描算法进行并行训练，大大加快了训练速度。例如，在 T4 GPU 上，对于长度为 512 的序列，minLSTM 比 LSTM 加快了 235 倍。在参数效率方面，当 α = 1、2、3 或 4（其中 ）时，与 LSTM 相比，minLSTM 仅使用了 38%、25%、19% 或 15% 的参数。

删除  的效果。最初的 LSTM 和 GRU 使用输入 x_t 和之前的隐藏状态 计算各种门电路。这些模型利用其与时间依赖的门来学习复杂函数。然而，minLSTM 和 minGRU 的训练效率是通过放弃门对之前隐藏状态  的依赖性来实现的。因此，minLSTM 和 minGRU 的门仅与输入 x_t 依赖，从而产生了更简单的循环模块。因此，由单层 minLSTM 或 minGRU 组成的模型的栅极是与时间无关的，因为其条件是与时间无关的输入 。

然而，在深度学习中，模型是通过堆叠模块构建的。虽然第一层的输入 与时间无关，但其输出 与时间有关，并被用作第二层的输入，即 。因此，从第二层开始，minLSTM 和 minGRU 的门也将随时间变化，从而建立更复杂的函数模型。表 1 比较了不同层数的模型在 Mamba 论文中的选择性复制任务上的表现。可以立即看出时间依赖性的影响：将层数增加到 2 层或更多，模型的性能就会大幅提高。

到这里，我们也就讲完了《图灵奖得主Yoshua Bengio新作：Were RNNs All We Needed?》的内容了。个人认为，基础知识的学习和巩固，是为了更好的将其运用到项目中，欢迎关注golang学习网公众号，带你了解更多关于工程的知识点！