真实性震撼！谷歌和康奈尔大学推出真实图像补全技术RealFill

小伙伴们有没有觉得学习科技周边很有意思？有意思就对了！今天就给大家带来《真实性震撼！谷歌和康奈尔大学推出真实图像补全技术RealFill》，以下内容将会涉及到，若是在学习中对其中部分知识点有疑问，或许看了本文就能帮到你！

得到一张好看的照片越来越容易了。

假期出游，肯定少不了拍照留念。不过，大部分在景区拍摄的照片或多或少都有些遗憾，背景里不是多了些什么，就是少了些什么。

获得一张「完美」的图像，是 CV 研究人员长期以来努力的目标之一。日前，Google Research 和康奈尔大学的研究人员合作，提出了一种「真实的图像补全」（Authentic Image Completion）技术——用于图像补全的生成模型 RealFill。

RealFill 模型的优势是可以使用少量的场景参考图像进行个性化设置，而这些参考图像无须与目标图像对齐，甚至可以在视角、光线条件、相机光圈或图像风格等方面有极大的差异。一旦完成个性化设置，RealFill 就能够以忠实于原始场景的方式，用视觉上引人入胜的内容来补全目标图像。

• 请点击以下链接查看论文：https://arxiv.org/abs/2309.16668

• 项目页面链接：https://realfill.github.io/

对于给定的场景，研究人员首先通过在参考图像和目标图像上微调一个预训练的 inpainting 扩散模型，创建一个个性化的生成模型。这个微调过程被设计成让微调后的模型不仅保持良好的图像先验，还能学习输入图像中的场景内容、光照和风格。然后，使用这个微调过的模型，通过标准的扩散采样过程来填充目标图像中的缺失区域。

^{RealFill 模型的输出效果。给定左侧的参考图像，RealFill 能够扩画出对应的右侧目标图像。白色框内的区域被提供给网络作为已知的像素，而白色框外的区域都是生成的。结果显示，即使参考图像和目标图像之间存在包括视点、光圈、光照、图像风格和物体运动等巨大差异，RealFill 也能生成高质量且忠实于参考图像的图像。来源：论文}

最后，作者向合作者表达了感激之情：

我们要感谢 Rundi Wu、Qianqian Wang、Viraj Shah、Ethan Weber、Zhengqi Li、Kyle Genova、Boyang Deng、Maya Goldenberg、Noah Snavely、Ben Poole、Ben Mildenhall、Alex Rav-Acha、Pratul Srinivasan、Dor Verbin 和 Jon Barron 的宝贵讨论和反馈，同时也感谢 Zeya Peng、Rundi Wu、Shan Nan 对评估数据集的贡献。我们特别感谢 Jason Baldridge、Kihyuk Sohn、Kathy Meier-Hellstern 和 Nicole Brichtova 对项目的反馈和支持。

请阅读原始论文并访问项目主页以获取更多信息

理论要掌握，实操不能落！以上关于《真实性震撼！谷歌和康奈尔大学推出真实图像补全技术RealFill》的详细介绍，大家都掌握了吧！如果想要继续提升自己的能力，那么就来关注golang学习网公众号吧！