UC伯克利谷歌革新LLM，实现终结扩散模型并用于IGN单步生成逼真图像，美剧成为灵感来源

从现在开始，我们要努力学习啦！今天我给大家带来《UC伯克利谷歌革新LLM，实现终结扩散模型并用于IGN单步生成逼真图像，美剧成为灵感来源》，感兴趣的朋友请继续看下去吧！下文中的内容我们主要会涉及到等等知识点，如果在阅读本文过程中有遇到不清楚的地方，欢迎留言呀！我们一起讨论，一起学习！

已经红遍半边天的扩散模型，将被淘汰了？

当前，生成式AI模型，比如GAN、扩散模型或一致性模型，通过将输入映射到对应目标数据分布的输出，来生成图像需要进行改写的内容是：

通常情况下，这种模型需要学习很多真实的图片，然后才能尽量保证生成图片的真实特征需要进行改写的内容是：

最近，来自UC伯克利和谷歌的研究人员提出了一种全新生成模型——幂等生成网络（IGN）需要进行改写的内容是：

图片

论文地址：https://arxiv.org/abs/2311.01462

IGNs可以从各种各样的输入，比如随机噪声、简单的图形等，通过单步生成逼真的图像，并且不需要多步迭代需要进行改写的内容是：

这一模型旨在成为一个「全局映射器」（global projector），可以把任何输入数据映射到目标数据分布需要进行改写的内容是：

简言之，通用图像生成模型未来一定是这样的需要进行改写的内容是：

有趣的是，《宋飞正传》中一个高效的场景竟成为作者的灵感来源需要进行改写的内容是：

图片

这个场景很好地总结了「幂等运算符」（idempotent operator）这一概念，是指在运算过程中，对同一个输入重复进行运算，得到的结果总是一样的需要进行改写的内容是：

即

图片

需要进行改写的内容是：

正如Jerry Seinfeld幽默地指出的那样，一些现实生活中的行为也可以被认为是幂等的需要进行改写的内容是：

幂等生成网络

IGN与GAN、扩散模型有两点重要的不同之处：

- 与GAN不同的是，IGN无需单独的生成器和判别器，它是一个「自对抗」的模型，同时完成生成和判别需要进行改写的内容是：

- 与执行增量步骤的扩散模型不同，IGN尝试在单个步中将输入映射到数据分布需要进行改写的内容是：

IGN（幂等生成模型）的来源是什么？

它被训练为从源分布给定输入样本的目标分布，生成样本需要进行改写的内容是：

给定示例数据集，每个示例均取自需要进行改写的内容是：然后，研究人员训练模型将映射到需要进行改写的内容是：

假设分布和位于同一空间，即它们的实例具有相同的维度需要进行改写的内容是：这允许将应用于两种类型的实例和需要进行改写的内容是：

如图展示了IGN背后的基本思想：真实示例 (x) 对于模型 f 是不变的需要进行改写的内容是：其他输入 (z) 被映射到f通过优化映射到自身的实例流上需要进行改写的内容是：

图片

IGN训练例程PyTorch代码的一部分示例需要进行改写的内容是：

图片

实验结果

得到IGN后，效果如何呢？

作者承认，现阶段，IGN的生成结果无法与最先进的模型相竞争需要进行改写的内容是：

在实验中，使用的较小的模型和较低分辨率的数据集，并在探索中主要关注简化方法需要进行改写的内容是：

当然了，基础生成建模技术，如GAN、扩散模型，也是花了相当长的时间才达到成熟、规模化的性能需要进行改写的内容是：

实验设置

研究人员在MNIST（灰度手写数字数据集）和 CelebA（人脸图像数据集）上评估IGN，分别使用28×28和64×64的图像分辨率需要进行改写的内容是：

作者采用了简单的自动编码器架构，其中编码器是来自DCGAN的简单五层鉴别器主干，解码器是生成器需要进行改写的内容是：训练和网络超参数如表1所示需要进行改写的内容是：

图片

生成结果

图4显示了应用模型一次和连续两次后两个数据集的定性结果需要进行改写的内容是：

如图所示，应用IGN 一次 (f (z)) 会产生相干生成结果需要进行改写的内容是：然而，可能会出现伪影，例如MNIST数字中的孔洞，或者面部图像中头顶和头发的扭曲像素需要进行改写的内容是：

再次应用 f (f (f (z))) 可以纠正这些问题，填充孔洞，或减少面部噪声斑块周围的总变化需要进行改写的内容是：

图片

图7显示了附加结果以及应用f三次的结果需要进行改写的内容是：

图片

比较和表明，当图像接近学习流形时，再次应用f会导致最小的变化，因为图像被认为是分布的需要进行改写的内容是：

潜在空间操纵

作者通过执行操作证明IGN具有一致的潜在空间，与GAN所示的类似，图6显示了潜在空间算法需要进行改写的内容是：

图片

分布外映射

作者还验证通过将来自各种分布的图像输入到模型中以生成其等效的「自然图像」，来验证IGN「全局映射」的潜力需要进行改写的内容是：

研究人员通过对噪声图像x+n 进行去噪、对灰度图像进行着色，以及将草图转换为图5中的真实图像来证明这一点需要进行改写的内容是：

原始图像x，这些逆任务是不适定的需要进行改写的内容是：IGN能够创建符合原始图像结构的自然映射需要进行改写的内容是：

如图所示，连续应用f可以提高图像质量（例如，它消除了投影草图中的黑暗和烟雾伪影）需要进行改写的内容是：

图片

谷歌下一步？

通过以上结果可以看出，IGN在推理方面更加有效，在训练后只需单步即可生成结果需要进行改写的内容是：

它们还可以输出更一致的结果，这可能推广到更多的应用中，比如医学图像修复需要进行改写的内容是：

论文作者表示：

我们认为这项工作是迈向模型的第一步，该模型学习将任意输入映射到目标分布，这是生成建模的新范式需要进行改写的内容是：

接下来，研究团队计划用更多的数据来扩大IGN的规模，希望挖掘新的生成式AI模型的全部潜力需要进行改写的内容是：

最新研究的代码，未来将在GitHub上公开需要进行改写的内容是：

参考文献：

https://assafshocher.github.io/IGN/

https://the-decoder.com/inspired-by-seinfeld-google-unveils-new-ai-model-for-image-generation/

到这里，我们也就讲完了《UC伯克利谷歌革新LLM，实现终结扩散模型并用于IGN单步生成逼真图像，美剧成为灵感来源》的内容了。个人认为，基础知识的学习和巩固，是为了更好的将其运用到项目中，欢迎关注golang学习网公众号，带你了解更多关于模型,扩散,IGN的知识点！