AAAI 2025 | 大模型推理加速新范式：加速比高达3.51倍、成本降至1/3

怎么入门科技周边编程？需要学习哪些知识点？这是新手们刚接触编程时常见的问题；下面golang学习网就来给大家整理分享一些知识点，希望能够给初学者一些帮助。本篇文章就来介绍《AAAI 2025 | 大模型推理加速新范式：加速比高达3.51倍、成本降至1/3》，涉及到，有需要的可以收藏一下

翼支付AAAI 2025论文：Falcon加速大模型推理

中国电信翼支付近日发布的论文《Falcon: Faster and Parallel Inference of Large Language Models through Enhanced Semi-Autoregressive Drafting and Custom-Designed Decoding Tree》已被AAAI 2025接收。该论文提出了一种名为Falcon的增强型半自回归投机解码框架，显著提升了大语言模型(LLM)的推理速度。Falcon在多个数据集上实现了约2.91-3.51倍的加速，并已成功应用于翼支付的多个实际业务场景。

背景：投机解码与效率瓶颈

大型语言模型(LLM)表现优异，但其自回归(AR)解码方式导致推理计算成本高、延迟大。投机解码(Speculative Decoding)应运而生，它使用轻量级模型(Draft Model)预生成候选token，再由原始模型(Target Model)验证，实现并行解码。现有方法主要采用自回归(AR)或半自回归(SAR)draft策略，但AR策略并行性差，SAR策略token接受率低。

Falcon方法：平衡速度与精度

Falcon框架巧妙地解决了速度和精度之间的平衡问题。它集成了Coupled Sequential Glancing Distillation (CSGD)方法和自定义解码树(Custom-Designed Decoding Tree, CDT)，有效提升了SAR draft模型的token接受率和并行性。

核心技术：CSGD和CDT

• CSGD: 通过将真实token和隐藏状态注入解码过程，提高了SAR draft模型的预测准确性和连贯性，减少了错误预测。 CSGD并非随机替换token，而是选择性地替换连续的token和特征序列，更好地捕捉token间的依赖关系。 训练过程采用知识蒸馏，损失函数包含回归损失和蒸馏损失。(参见图2)

• CDT: 允许draft model一次前向传播生成多个token，并支持多次前向传播，显著提升了token生成效率。 CDT采用了一种特殊的因果掩码，允许模型访问同一block内的token以及之前的连续token，从而提高LLM的token接受率。(参见图3)

Falcon的架构如图1所示，包含Embedding层、LM-Head和半自回归解码Head。

实验结果与应用

实验结果表明，Falcon在多个数据集和模型上都取得了显著的加速效果(图4)。

Falcon技术已应用于翼支付的InsightAI平台，服务于多个业务，例如数字人客服、借贷服务、人力资源管理和财务管理等。

总结

Falcon通过CSGD和CDT的创新设计，有效提升了LLM的推理效率，降低了计算成本，为大模型的实际应用提供了强有力的支持。论文地址：https://arxiv.org/pdf/2412.12639

关于翼支付: 天翼电子商务有限公司（翼支付）是中国电信集团成员企业，致力于运用AI等技术推动产业数字化转型。

今天带大家了解了的相关知识，希望对你有所帮助；关于科技周边的技术知识我们会一点点深入介绍，欢迎大家关注golang学习网公众号，一起学习编程~