UniEdit：浙大&微软联合推出全能视频编辑框架，零训练、涵盖多种编辑场景

从现在开始，我们要努力学习啦！今天我给大家带来《UniEdit：浙大&微软联合推出全能视频编辑框架，零训练、涵盖多种编辑场景》，感兴趣的朋友请继续看下去吧！下文中的内容我们主要会涉及到等等知识点，如果在阅读本文过程中有遇到不清楚的地方，欢迎留言呀！我们一起讨论，一起学习！

• 论文标题：UniEdit: A Unified Tuning-Free Framework for Video Motion and Appearance Editing
• 项目主页：https://jianhongbai.github.io/UniEdit
• 代码：https://github.com/JianhongBai/UniEdit
• 论文：https://arxiv.org/abs/2402.13185

• 多功能：支持视频「动作」编辑以及多种视频「外观」编辑场景。
• 无需训练：UniEdit 直接利用与训练的文本到视频生成模型，无需额外训练或微调。
• 灵活性：可兼容不同文本到视频生成模型，可以使用更加强大的视频生成模型提升 UniEdit 编辑质量。

• 研究者发现，视频生成模型的时间自注意层编码了视频的「帧间依赖性」。基于这个洞察，研究者引入了一个辅助的动作参考分支，用于生成文本引导的动作特征，然后通过时间自注意层（SA-T）将这些特征注入到主编辑路径中，从而实现将文本引导的动作注入到源视频中。
• 受到图像编辑技术的启发，研究者发现视频生成模型的空间自注意层（SA-S）编码了视频帧内空间依赖性。因此，研究者引入了一个辅助视频重建分支，并将从视频重建分支的空间自我注意层获得的特征注入到主编辑路径中，以保留源视频的非编辑内容。
• 为了在编辑外观时保持空间结构，研究者将主编辑路径中的空间注意力图替换为视频重建分支中的空间注意力图。

方法概述。如上图所示，UniEdit 主编辑路径遵循反演 - 生成流程：使用 DDIM 反演后的潜变量作为初始噪声，然后以目标提示为文本条件，使用预训练的 UNet 进行去噪处理。进行动作编辑时，为了实现源内容保留和动作控制，研究者提出加入一个辅助视频重建分支和一个辅助动作参考分支，以提供所需的源视频内容和动作特征，这些特征被注入到主编辑路径中，以实现内容保留和动作编辑。

在去噪步骤 t，主编辑路径中第个 SA-S 模块的注意力机制操作如下：

其中是主编辑路径中的特征，是重建分支中对应 SA-S 层的值（value），和为超参数。通过替换空间自注意力层的 value 特征，主编辑路径合成的视频保留了源视频的未编辑特征（例如背景）。与之前的视频编辑工作使用的跨帧注意力机制不同，研究者采用逐帧替换的操作，以更好地处理包含大幅度动作的源视频。

对象动作编辑 — 动作注入。为了在不牺牲内容一致性的情况下获得所需的动作，研究者提出用参考动作指导主编辑路径。具体来说，在去噪过程中涉及一个辅助动作参考分支。与重建分支不同，动作参考分支以包含所需动作描述的目标提示为条件。为了将动作转移到主编辑路径，研究者的核心洞察是时间层模拟了合成视频剪辑的帧间依赖性（如下图所示）。受上述观察的启发，研究者设计了在主编辑路径的时间自注意层上注入注意力图：

其中和指的是动作参考分支的查询（query）和键值（key），并在实践中将和设置为零。研究者观察到，时间注意力图的注入可以有效地帮助主编辑路径生成与目标提示一致的动作。为了更好地将动作与源视频中的内容融合，研究者还在早期去噪步骤中对主编辑路径和动作参考分支实施空间结构控制。

其中和指重建分支的查询和键，和用于控制编辑的程度。值得一提的是，空间结构控制的效果与内容保留机制不同。以风格化为例，上式中的结构控制机制只确保了每帧空间构图的一致性，同时使模型能够基于文本提示生成所需的纹理和风格。另一方面，内容呈现技术继承了源视频的纹理和风格。因此，研究者使用结构控制而不是内容保留来进行外观编辑。

好了，本文到此结束，带大家了解了《UniEdit：浙大&微软联合推出全能视频编辑框架，零训练、涵盖多种编辑场景》，希望本文对你有所帮助！关注golang学习网公众号，给大家分享更多科技周边知识！