LivePortrait

LivePortrait：高效肖像动画生成框架

LivePortrait是一款创新的肖像动画生成框架，专为从单张静态图像合成逼真视频而设计。该框架利用源图像作为外观参考，结合驱动视频、音频、文本或生成的运动信息（如面部表情和头部姿势），通过基于隐式关键点的技术，实现了高效且可控的肖像动画生成。

核心优势：

• 超高生成速度：在RTX 4090 GPU上，仅需12.8毫秒即可生成一帧肖像动画，大幅提升了生成效率。
• 隐式关键点技术：采用隐式关键点和小型MLP模块，计算开销极低，确保生成过程高效顺畅。
• 多风格多尺寸适应：支持从现实主义到油画、雕塑和3D渲染等多种风格，以及不同尺寸的图像，泛化能力强。
• 丰富控制模块：提供缝合和重定向模块，允许用户精细控制生成动画中的眼睛和嘴唇开合等细节。
• 大规模数据训练：利用约6900万高质量帧进行训练，采用混合图像-视频训练策略，提升了生成质量和泛化能力。

主要功能：

• 肖像动画生成：从单张静态图像生成逼真的肖像视频，模拟面部表情和头部姿势变化。
• 视频驱动动画：使用驱动视频控制生成视频的运动，使动画更加自然生动。
• 眼睛和嘴唇重定向：通过标量控制眼睛和嘴唇的开合，实现精细的表情控制。
• 动物肖像动画：通过在动物数据上微调，将人类表情精确驱动到动物身上，生成可爱的动物肖像动画。
• 肖像视频编辑：对生成的肖像视频进行编辑和调整，满足不同的创作需求。

使用示例：

• 肖像动画生成：从一张静态的人像照片生成一段视频，模拟人物的微笑、眨眼等面部表情。
• 眼睛和嘴唇控制：在生成的肖像动画中，控制人物的眼睛开合程度，使其呈现出不同的表情状态，如睁大眼睛或闭眼微笑；同时控制嘴唇的开合，模拟说话或唱歌的动作。
• 动物肖像动画：将人类的表情驱动到动物身上，生成一段可爱的动物唱歌或跳舞的视频，如让一只猫模仿人类的表情唱歌，或者让一只狗模仿人类的表情跳舞。

总结：

LivePortrait通过隐式关键点技术和丰富的控制模块，从单张静态图像生成逼真、可控的肖像视频。其在生成速度、泛化能力和可控性方面表现出色，支持多种风格和尺寸的图像，并能精细控制眼睛、嘴唇等细节。此外，LivePortrait还能将人类表情应用于动物，生成有趣的动物肖像动画，具有广泛的应用前景和实用价值。