张牧涵团队用昇腾破解大模型推理难题

## 张牧涵团队用昇腾突破大模型推理瓶颈：百万Tokens仅需1元 北京大学张牧涵团队在鲲鹏昇腾科教创新卓越中心算力支持下，成功构建高效大模型训练与推理架构，将百万tokens输入成本降至1元，为行业带来高性能、低成本解决方案。该研究突破了相对位置编码稀疏性、非位置编码抑制以及传统LM-head效率低下的瓶颈。通过解耦位置与非位置信息，并采用低秩压缩策略，显著提升了昇腾硬件上注意力头参数的利用效率，并降低了内存访问压力。同时，团队提出的Recurrent Decoding (RD)技术，依托昇腾平台卓越的并行处理能力，有效提升了训练效率与推理速度。这项成果不仅降低了大模型部署门槛，也验证了昇腾算力平台支撑高水平科研的能力，为中国自主人工智能生态建设注入新动能。

在人工智能领域，大语言模型的训练与推理开销长期制约着技术的广泛应用。近日，北京大学人工智能研究院助理教授张牧涵领衔的团队，在鲲鹏昇腾科教创新卓越中心（简称“卓越中心”）提供的强大算力支持下，成功构建了一套高效的大模型训练与推理架构，实现百万tokens输入成本低至1元，为行业提供了高性能、低成本的全新解决方案。

该研究实现了三项核心技术突破。其一，当前主流的相对位置编码机制存在显著稀疏性问题。团队创新性地将注意力头中的位置信息与非位置信息解耦，对位置编码实施低秩压缩，在仅保留3%位置信息的情况下，仍能保持原有的表达能力。通过优化昇腾硬件上的flash-attention算子，有效提升了注意力头参数的利用效率。

其二，传统模型中非位置编码部分往往处于被压制状态。通过分离位置与非位置信息，团队为非位置编码开辟了更大的压缩空间。采用联合KV的低秩压缩策略，仅需保留12.5%的KV Cache即可维持模型性能。该方法充分发挥了昇腾芯片高效的并行计算优势，显著降低内存访问压力，大幅提升推理吞吐。

其三，依托昇腾平台卓越的并行处理能力，团队提出了Recurrent Decoding（RD）技术，替代传统LM-head结构，显著提升训练效率与推理速度。在训练过程中，RD通过对比解码生成的多个tokens与目标序列，提高数据利用率；在推理阶段，结合投机采样机制，大幅提高token生成的通过率，从而加快整体输出速度。

这项成果已引发学术界高度关注，不仅为后续研究提供了可复用的高效架构模板，也显著降低了大模型在企业场景中的部署门槛。自2023年6月成立以来，北京大学与华为持续在产业前沿技术领域开展深度合作，此次成果充分验证了昇腾算力平台支撑高水平科研的能力。未来，卓越中心将持续推进大模型关键技术攻关，助力中国自主人工智能生态建设。

今天带大家了解了的相关知识，希望对你有所帮助；关于科技周边的技术知识我们会一点点深入介绍，欢迎大家关注golang学习网公众号，一起学习编程~