视频版IC-Light：一键视频重打光

上海交大、中科大及上海人工智能实验室团队推出无需训练的视频重打光技术Light-A-Video，堪称视频版IC-Light！该技术巧妙结合预训练图像重打光模型和视频扩散模型，通过Consistent Light Attention (CLA)模块和Progressive Light Fusion (PLF)策略，有效解决视频重打光的光照一致性和时间连贯性难题。Light-A-Video无需训练，高效便捷，支持完整视频或前景序列重打光，并可根据文字描述生成背景，在多个指标上超越现有方法，有望革新视频编辑领域。 项目代码已开源，欢迎访问项目主页和代码地址了解更多细节。

上海交大、中科大及上海人工智能实验室团队研发出无需训练的视频重打光技术Light-A-Video，该技术突破了传统方法的高训练成本和数据稀缺瓶颈，实现了零样本视频重打光。

Light-A-Video的核心在于巧妙地结合了预训练的图像重打光模型（例如IC-Light）和视频扩散模型（例如AnimateDiff和CogVideoX）。通过Consistent Light Attention (CLA)模块和Progressive Light Fusion (PLF)策略，该技术有效地解决了视频重打光中的光照一致性和时间连贯性问题。

Light-A-Video 的主要优势：

1. 无需训练，高效便捷： 直接利用预训练模型，省去了耗时的训练过程，极大提升效率。
2. 端到端流程，确保一致性： CLA模块稳定背景光源，PLF策略保证时间连贯性，避免闪烁等问题。
3. 广泛适用性： 支持完整视频或前景序列重打光，并可根据文字描述生成背景，兼容多种视频生成框架。

论文地址：https://arxiv.org/abs/2502.08590 项目主页：https://bujiazi.github.io/light-a-video.github.io/ 代码地址：https://github.com/bcmi/Light-A-Video

CLA和PLF模块详解：

CLA模块通过双重注意力融合，保留细节的同时减少光照抖动，实现稳定光照效果。PLF策略则通过逐步混合的方式，平滑地过渡光照，保持时间连贯性。

Light-A-Video架构图：

实验结果：

Light-A-Video在多个指标上超越现有方法，尤其在动作保留方面表现出色，实现了高质量、时间连贯的重打光效果。 该技术也支持仅用前景序列进行背景生成和重打光。

未来发展：

团队将进一步改进Light-A-Video，以更好地处理动态光照，拓展其应用范围。 Light-A-Video有望在视频编辑领域带来革命性变革。

今天带大家了解了的相关知识，希望对你有所帮助；关于科技周边的技术知识我们会一点点深入介绍，欢迎大家关注golang学习网公众号，一起学习编程~