GAN归来：模型大幅简化，训练更稳定，逆袭扩散模型，AI社区疯传

golang学习网今天将给大家带来《GAN归来：模型大幅简化，训练更稳定，逆袭扩散模型，AI社区疯传》，感兴趣的朋友请继续看下去吧！以下内容将会涉及到等等知识点，如果你是正在学习科技周边或者已经是大佬级别了，都非常欢迎也希望大家都能给我建议评论哈~希望能帮助到大家！

2025年，GAN卷土重来！它能击败扩散模型吗？答案是肯定的！本周五，AI社区热议一款极简主义GAN（生成对抗网络）。^{(该论文入选NeurIPS 2024，并在HuggingFace上引发热议。)} 这项研究颠覆了GAN难以训练的传统认知。通过“现代化”改造，GAN能够进行更长时间的训练，最终在图像生成和数据增强任务上超越扩散模型，并实现更高效、更简洁的模型架构。

来自布朗大学和康奈尔大学的研究人员，通过引入新的损失函数，解决了GAN长期存在的模式崩溃和不稳定性问题。他们对StyleGAN2进行了简化升级，命名为“R3GAN”。尽管模型更简洁，R3GAN的性能却显著优于所有现有GAN模型和扩散模型。 这为未来的GAN研究奠定了更坚实的基础。

• 论文链接：https://arxiv.org/abs/2501.05441
• GitHub链接：https://github.com/brownvc/R3GAN
• HuggingFace：https://huggingface.co/spaces/multimodalart/R3GAN

研究团队推导出了一个行为良好的正则化相对GAN损失函数，解决了模式丢失和不收敛问题，摒弃了以往依赖大量经验性技巧的做法。他们从数学角度分析了该损失函数，并证明其具有局部收敛性保证。 同时，该损失函数允许使用现代架构替代过时的GAN骨干网络。以StyleGAN2为例，R3GAN（重新设计的GAN）展现了其简化后的现代化路线图。其在FFHQ、ImageNet、CIFAR和Stacked MNIST数据集上的表现均优于StyleGAN2，并在与最先进的GAN和扩散模型的对比中脱颖而出。

GAN曾是AI领域的热门研究方向，其单次前向传递即可生成高质量图像的特性备受瞩目。然而，原始GAN目标的极小极大特性使其优化极难，训练的不稳定性也一直是制约其发展的瓶颈。 与扩散模型等其他生成模型相比，GAN的发展相对滞后。这项研究表明，一旦拥有性能优良的损失函数，便可灵活地设计现代化的SOTA主干架构。研究人员剥离了StyleGAN的所有非必要特性，并借鉴了现代卷积神经网络和Transformer的架构设计，最终得到了比StyleGAN更简洁的设计。

提升训练稳定性

该研究证明，通过结合目标进展和正则化训练损失，GAN获得了更高的训练稳定性，并能够升级到现代骨干网络。 研究人员提出了一种新的目标函数，利用零中心梯度惩罚增强RpGAN，提升稳定性。他们从数学上证明，梯度惩罚RpGAN与正则化经典GAN具有相同的局部收敛保证，移除正则化方案会导致不收敛。

在定义GAN目标时，需要同时应对稳定性和多样性两大挑战。该研究将稳定方法与基于理论的简单正则化器相结合，在两方面取得了进展。

传统GAN被描述为判别器D_ψ和生成器G_θ之间的极小极大博弈： 传统GAN容易出现模式崩溃/丢失和不收敛等问题。

该研究采用了一种略微不同的极小极大博弈——RpGAN，旨在解决模式丢失问题。其定义为： 然而，未正则化的RpGAN表现不佳。

为了解决RpGAN的不收敛问题，研究人员引入了梯度惩罚，特别是零中心梯度惩罚(0-GP)，例如R1和R2： 研究团队认为，对真实数据和虚假数据上的判别器进行正则化是有效的解决方案。

R3GAN的路线图

行为良好的RpGAN + R1 + R2损失函数缓解了GAN优化中的问题，并结合了最新的骨干网络进展，最终构建了极简基线——R3GAN。这并非仅仅提出一种新方法，而是从StyleGAN2基线中绘制出一条路线图。

该模型经历了逐步简化的过程，最终去除了StyleGAN2中所有不必要的特性，并应用了新的损失函数，最终实现了比StyleGAN2更简洁高效的架构。^{(架构对比)}

实验结果

研究团队在多个数据集上进行了实验，结果表明R3GAN在图像质量和训练稳定性方面均取得了显著提升，并超越了众多最先进的GAN和扩散模型。(此处省略了具体的实验细节和图表，因为直接复制粘贴图片链接并不能保证图片的正确显示，且篇幅过长。) StabilityAI的研究总监也对该研究成果给予了高度评价。

GAN的现代化改造是否能使其重回巅峰，超越Stable Diffusion？ 这值得我们进一步关注和思考。

^{参考内容：https://huggingface.co/papers/2501.05441https://x.com/iscienceluvr/status/1877624087046140059?s=61}

今天关于《GAN归来：模型大幅简化，训练更稳定，逆袭扩散模型，AI社区疯传》的内容就介绍到这里了，是不是学起来一目了然！想要了解更多关于产业,生成对抗网络的内容请关注golang学习网公众号！