香港大学与Adobe Research合作推出的ObjectMover模型，革新了图像编辑领域。该模型通过将物体移动视为两帧视频间的特殊情况，利用预训练视频生成模型的跨帧一致性，实现了物体在图像中的精准移动、自然删除和无缝插入。ObjectMover不仅能自动调整光照、阴影和反射，还能完美保留物体的原始特征。其技术突破包括视频先验知识迁移、高效序列到序列建模、使用高质量合成数据集以及多任务学习策略。该模型在特效制作、虚拟场景编辑、游戏关卡设计、产品展示和空间规划等领域展现出广阔的应用前景。

ObjectMover：革新图像编辑的AI模型

ObjectMover是由香港大学和Adobe Research联合开发的先进图像编辑模型，旨在解决图像中物体移动、插入和移除时出现的诸多难题，例如光照、阴影的不协调以及物体失真等问题。该模型巧妙地将物体移动视为两帧视频间的特殊情况，充分利用预训练视频生成模型的跨帧一致性学习能力，通过微调将其应用于图像编辑任务。其核心架构采用序列到序列建模，输入包含原始图像、目标物体图像和指令图，输出则是物体移动后的合成图像。

ObjectMover的核心功能

• 物体精准移动： ObjectMover可以将图像中的物体移动到任意指定位置，并自动调整光照、阴影、反射等物理效果，同时完美保留物体的原始特征。
• 自然物体删除： 该模型能够真实地填充被移除物体的背景区域，避免生成无关的物体，并准确去除与物体相关的阴影和光影。
• 无缝物体插入： ObjectMover可以精确地保持被插入物体的特征，并自动生成与周围环境一致的光影效果，实现无缝融合。

ObjectMover的技术突破

• 视频先验知识迁移： ObjectMover将物体移动任务转化为两帧视频间的转换问题，利用预训练的视频生成模型（例如扩散模型）学习跨帧一致性。通过微调，将模型从视频生成任务迁移到图像编辑任务，从而有效利用视频模型预训练中学习到的物理规律和物体对应关系，实现图像编辑中光影的精准同步和物体特征的完美保留。
• 高效序列到序列建模： 该模型将物体移动任务重新定义为序列预测问题。输入包括原始图像、目标物体图像和指令图（包含移动位置和方向），输出为处理后的图像。这种方法能够帮助模型更好地理解和处理物体在不同位置下的光影变化和遮挡关系。
• 高质量合成数据集： 由于缺乏大规模真实物体移动数据集，研究团队利用现代游戏引擎（例如虚幻引擎）生成了高质量的合成数据集。该数据集涵盖了复杂的光照、材质和遮挡场景，显著增强了模型的训练多样性和泛化能力。
• 多任务学习策略： ObjectMover整合了物体移动、移除、插入以及视频数据插入四个子任务，在合成数据和真实视频数据上进行统一框架训练。这提升了模型对真实场景的泛化能力，使其在处理各种图像编辑任务时表现出更高的适应性和鲁棒性。

ObjectMover的获取方式及应用

• 项目官网： http://xinyu-andy.github.io/ObjMover/
• arXiv论文： http://arxiv.org/pdf/2503.08037

ObjectMover的应用前景十分广阔，涵盖以下领域：

• 特效制作： 用于创建复杂的特效场景，例如物体的消失或出现，并保持场景的真实感。
• 虚拟场景编辑： 在虚拟现实和游戏开发中，灵活调整虚拟场景中的物体，例如移动道具，同时保持光照和阴影的一致性。
• 游戏关卡设计： 加速关卡设计流程，快速调整关卡中物体的布局。
• 产品展示： 将产品放置在不同的场景中，展示其在不同使用场景下的效果。
• 空间规划： 在建筑和室内设计中，移动家具或装饰品以评估不同的设计方案。

理论要掌握，实操不能落！以上关于《港大与Adobe联手发布ObjectMover图像编辑新模型》的详细介绍，大家都掌握了吧！如果想要继续提升自己的能力，那么就来关注golang学习网公众号吧！