Meta 发布 Megabyte AI 模型抗衡 Transformer ，速度提升 4 成

在IT行业这个发展更新速度很快的行业，只有不停止的学习，才不会被行业所淘汰。如果你是科技周边学习者，那么本文《Meta 发布 Megabyte AI 模型抗衡 Transformer ，速度提升 4 成》就很适合你！本篇内容主要包括##content_title##，希望对大家的知识积累有所帮助，助力实战开发！

IT之家 5 月 30 日消息，近日 Meta 团队开发了一款名为 Megabyte 的 AI 模型以抗衡 Transformer，据称 Megabyte 解决了 Transformer 模型所面临的问题，并且在速度上提升了 40%。

▲ 图源 Arxiv

目前 Transformer 在自然语言处理等领域非常流行，但由于其序列数据的处理方式是逐步进行的，无法并行化处理，因此训练速度较慢； 难以处理长序列，因为其在反向传播过程中，梯度很容易消失或爆炸；此外，由于需要在每一步保留历史信息，内存消耗较大。

Megabyte 模型将输入和输出序列分成补丁（patch），而非单独的令牌（token）。这种结构使得相对容易预测大多数任务的字节级别，例如在给定前几个字符的情况下预测完成的单词。在大型网络中，通过简化字符可以提高效率，同时可以使用更小的模型来进行内部预测。这种 Megabyte 模型的方法解决了当前 AI 模型所遇到的训练速度、可靠性和硬件占用比例等方面的挑战。

▲ 图源 Arxiv

此外，在计算效率方面，相比于等大的 Transformer 和 Linear Transformer，Megabyte 模型在固定模型大小和序列长度范围内使用更少的 token。因此相对于 Transformer，Megabyte 模型可以在相同的计算成本下训练内容更丰富、体积更大、性能更好的模型。

目前 Meta 团队放出了 Megabyte 模型的论文，IT之家小伙伴可以前往查阅。

文中关于的知识介绍，希望对你的学习有所帮助！若是受益匪浅，那就动动鼠标收藏这篇《Meta 发布 Megabyte AI 模型抗衡 Transformer ，速度提升 4 成》文章吧，也可关注golang学习网公众号了解相关技术文章。