蚂蚁百灵开源Ring-flash-linear-2.0，支持长文本编程

偷偷努力，悄无声息地变强，然后惊艳所有人！哈哈，小伙伴们又来学习啦~今天我将给大家介绍《蚂蚁百灵开源 Ring-flash-linear-2.0，支持超长文本编程》，这篇文章主要会讲到等等知识点，不知道大家对其都有多少了解，下面我们就一起来看一吧！当然，非常希望大家能多多评论，给出合理的建议，我们一起学习，一起进步！

蚂蚁百灵大模型团队近日正式开源了 Ring-flash-linear-2.0-128K 模型，该模型特别适用于超长文本下的代码生成、编程任务以及智能 agent 等复杂应用场景。

据悉，该模型采用线性注意力与标准注意力机制相结合的混合架构，在保证高效推理的同时实现了卓越的性能表现。通过融合成熟的 MoE（Mixture of Experts）设计与多项优化技术——包括 1/32 的专家激活比率和 MTP 层结构，Ring-flash-linear 能在仅激活 6.1B 参数的情况下，展现出媲美 40B 全参数密集模型的能力。

此模型基于 Ling-flash-base-2.0 进行转化，并在额外 1T token 数据上进行了持续训练。结合监督微调（SFT）与强化学习的稳定训练策略，模型在各类高难度推理任务中均达到了当前最优（SOTA）水平。

在多项基准测试中，Ring-flash-linear-2.0-128k 不仅表现优于众多现有的开源 MoE 和 Dense 模型，还能与使用标准注意力的 Ring-flash-2.0 模型相匹敌。模型原生支持长达 128K 的上下文长度，并可通过 YaRN 技术扩展至 512K，显著提升了对极长输入输出序列的处理速度与准确性。

Huggingface: https://huggingface.co/inclusionAI/Ring-flash-linear-2.0-128k
Modelscope: https://modelscope.cn/models/inclusionAI/Ring-flash-linear-2.0-128k
GitHub linghe 算子库: https://github.com/inclusionAI/linghe

到这里，我们也就讲完了《蚂蚁百灵开源Ring-flash-linear-2.0，支持长文本编程》的内容了。个人认为，基础知识的学习和巩固，是为了更好的将其运用到项目中，欢迎关注golang学习网公众号，带你了解更多关于的知识点！