炒菜、雕刻、绘画、汽车人变形！MakeAnything用扩散Transformer解锁多任务过程生成

欢迎各位小伙伴来到golang学习网，相聚于此都是缘哈哈哈！今天我给大家带来《炒菜、雕刻、绘画、汽车人变形！MakeAnything用扩散Transformer解锁多任务过程生成》，这篇文章主要讲到等等知识，如果你对科技周边相关的知识非常感兴趣或者正在自学，都可以关注我，我会持续更新相关文章！当然，有什么建议也欢迎在评论留言提出！一起学习！

新加坡国立大学Show Lab的研究成果MakeAnything，让AI学会了分步骤创作！这项突破性研究，通过巧妙结合Diffusion Transformer (DiT)和非对称LoRA技术，首次实现了高质量、跨领域的程序化序列生成，并在21类任务中展现出优异性能及强大的泛化能力。

挑战与突破：AI创作的“过程”难题

以往的AI图像生成，主要集中在最终结果的呈现。而要让AI生成像绘画、手工艺等复杂作品的步骤教程，则面临三大挑战：高质量多任务数据集匮乏、步骤间逻辑关联性不足以及跨领域泛化能力有限。MakeAnything团队另辟蹊径，从数据、模型和方法三个方面入手，攻克了这些难题。

MakeAnything的核心技术：

1. 海量多领域数据集： 构建了涵盖绘画、手工艺、乐高搭建、3D建模、烹饪等21个领域的超大规模数据集，包含超过24,000个标注序列，为AI学习“分步创作”提供了坚实的数据基础。

2. DiT与蛇形布局： 利用DiT模型的空间注意力机制，并创新性地采用蛇形序列布局，将多步骤图像排列成蛇形网格，强化模型对步骤顺序的感知，确保步骤间的逻辑连贯性和视觉一致性。

3. 非对称LoRA： 借鉴大语言模型的HydraLoRA技术，设计了非对称LoRA，在所有数据集上微调共享矩阵A，学习通用知识和分步骤逻辑；对不同任务单独微调矩阵B，适配特定任务特性，从而在提升泛化能力的同时，保证了不同领域任务的精准适配。

4. ReCraft模型：由结果反推过程： 开发了ReCraft模型，允许用户输入目标图像，AI即可生成相应的创作步骤，实现图像条件下的过程生成。

5. 强大的泛化能力： MakeAnything甚至能在未经训练的任务上展现出令人惊叹的泛化能力。

实验结果与评估：

MakeAnything在多个指标上超越现有技术，包括图文一致性、逻辑连贯性和实用性。消融实验也证明了非对称LoRA的有效性。

结语：

MakeAnything的开源，将推动AI在创意领域的发展，为艺术家和设计师提供强大的辅助工具。 其代码、模型和数据集已开源： https://github.com/showlab/MakeAnything

到这里，我们也就讲完了《炒菜、雕刻、绘画、汽车人变形！MakeAnything用扩散Transformer解锁多任务过程生成》的内容了。个人认为，基础知识的学习和巩固，是为了更好的将其运用到项目中，欢迎关注golang学习网公众号，带你了解更多关于工程的知识点！