线性扩散模型LiT来了，用极简线性注意力助力扩散模型AIPC时代端侧部署

学习科技周边要努力，但是不要急！今天的这篇文章《线性扩散模型LiT来了，用极简线性注意力助力扩散模型AIPC时代端侧部署》将会介绍到等等知识点，如果你想深入学习科技周边，可以关注我！我会持续更新相关文章的，希望对大家都能有所帮助！

香港大学与上海人工智能实验室、华为诺亚方舟实验室合作，推出高效扩散模型LiT，该模型在架构设计和训练策略上均有创新，实现了在普通Windows笔记本电脑上离线生成1K分辨率高清图像。

LiT的核心突破：

为提升扩散模型效率，LiT采用极简线性注意力机制替代计算成本更高的自注意力机制。线性注意力的优势在于简洁性和高并行化能力，这对于大型模型至关重要。研究团队总结了以下关键经验：

1. 极简线性注意力足够： 无需复杂的线性注意力变体，简化版即可满足图像生成需求。
2. 权重继承策略： 建议从预训练的Diffusion Transformer模型继承权重，但需排除自注意力模块的权重。
3. 混合知识蒸馏： 采用知识蒸馏加速训练，同时蒸馏噪声预测和方差预测结果，以获得更佳效果。

性能表现：

LiT在ImageNet基准测试中，仅需DiT模型20%-23%的训练迭代次数，即可达到相当的FID分数。在文本生成图像任务中，LiT-0.6B可在离线状态下，于Windows笔记本电脑上快速生成1K分辨率的逼真图像，展现出强大的端侧部署能力。

论文及项目信息：

• 论文名称：LiT: Delving into a Simplified Linear Diffusion Transformer for Image Generation
• 论文地址：https://arxiv.org/pdf/2501.12976v1
• 项目主页：https://techmonsterwang.github.io/LiT/

研究背景：

Diffusion Transformer在文生图领域展现出巨大潜力，但自注意力机制的高计算复杂度限制了其在高分辨率场景和端侧设备的应用。LiT通过线性注意力机制有效解决了这一问题，并通过高效的训练策略进一步降低了训练成本。

(后续内容可根据原文目录，对架构设计、训练方法、实验结果等章节进行类似的改写，保持原意不变，并保留图片格式和位置)

理论要掌握，实操不能落！以上关于《线性扩散模型LiT来了，用极简线性注意力助力扩散模型AIPC时代端侧部署》的详细介绍，大家都掌握了吧！如果想要继续提升自己的能力，那么就来关注golang学习网公众号吧！