时隔6年，谷歌BERT终于有替代品了！更快更准更长，还不炒作GenAI

小伙伴们有没有觉得学习科技周边很有意思？有意思就对了！今天就给大家带来《时隔6年，谷歌BERT终于有替代品了！更快更准更长，还不炒作GenAI》，以下内容将会涉及到，若是在学习中对其中部分知识点有疑问，或许看了本文就能帮到你！

突破瓶颈！ModernBERT：高效、精准的编码器模型，强势超越BERT

BERT模型问世已久，尽管如此，它仍然是HuggingFace平台下载量第二高的模型，每月下载量超过6800万次。然而，时隔六年，一个更强大的替代者出现了——ModernBERT。

由Answer.AI、英伟达等机构联合发布的ModernBERT，包含1.39亿参数的基础版和3.95亿参数的较大版，在速度和准确率方面均显著优于BERT及其同类模型。它整合了近年来大型语言模型(LLM)领域的诸多技术进步，对架构和训练过程进行了全面优化。

ModernBERT 的优势在于：速度更快、准确性更高、上下文长度扩展至8000个token（而大多数编码器仅为512个token），并且是首个在训练数据中包含大量代码的仅编码器专用模型。

Answer.AI联合创始人Jeremy Howard指出，ModernBERT并非追逐生成式AI（GenAI）的潮流，而是专注于成为真正实用的主力模型，可用于检索、分类等任务，高效且精准。

仅编码器模型的回归

近年来，GPT、Llama和Claude等仅解码器模型（生成模型）的兴起，推动了生成式AI领域的发展。然而，ModernBERT的出现，标志着将这些进步应用于仅编码器模型的尝试。

之所以选择仅编码器模型，是因为许多实际应用需要更轻量、更快速的模型，并不需要生成能力。仅解码器模型往往规模庞大、运行缓慢、成本高昂，且对隐私保护要求更高。

仅编码器模型的优势

仅编码器模型输出的是数值列表（嵌入向量），直接将“答案”编码成压缩的数字形式。这种向量是输入的压缩表示，因此也被称为表示模型。

与仅解码器模型不同，仅编码器模型在训练中可以双向查看token，这使得它们在特定任务中效率更高。 这就好比，仅解码器模型是高性能的法拉利，而仅编码器模型是经济实用的本田思域，各有千秋。

事实上，在HuggingFace平台上，基于BERT的模型下载量总和已远超仅解码器模型，证明了仅编码器模型的广泛应用和重要性。

性能对比

ModernBERT在多个任务上的准确率均领先于其他模型，尤其是在GLUE基准测试中击败了长期占据榜首的DeBERTaV3，同时内存占用仅为DeBERTaV3的五分之一。

此外，ModernBERT的速度也更快，是DeBERTa的两倍，长上下文推理速度更是快了近三倍。在代码检索方面，由于其在大量代码数据上进行训练，ModernBERT的表现尤为突出。

效率对比

在NVIDIA RTX 4090上的测试中，ModernBERT在内存和推理效率上也表现出色，尤其是在处理长上下文输入时，速度远超其他模型。

ModernBERT的技术创新

ModernBERT的成功源于三个核心方面：现代化的Transformer架构、对注意力效率的优化以及高质量的多样化训练数据。

• 现代化的Transformer架构： 采用了RoPE位置编码、GeGLU激活函数等改进。
• 全局和局部注意力机制： 使用交替注意力机制，有效提升了长序列处理速度。
• Unpadding和序列Packing： 避免了填充token带来的计算浪费，进一步提升效率。
• 高质量的多样化训练数据： 使用了2万亿个独特的token，涵盖网页文档、代码和科学文章等多种来源。

训练流程

ModernBERT采用三阶段训练流程，并使用了批大小预热和权重平铺等技巧来加速训练过程。

总结

ModernBERT作为一款高效、精准的仅编码器模型，为BERT提供了重要的升级，也证明了仅编码器模型在特定任务中的强大实力和应用前景。其在速度、准确率和效率上的突破，使其成为未来诸多应用的理想选择。

参考内容：https://huggingface.co/blog/modernbert

以上就是《时隔6年，谷歌BERT终于有替代品了！更快更准更长，还不炒作GenAI》的详细内容，更多关于英伟达,产业的资料请关注golang学习网公众号！