Loopy

Loopy：音频驱动的肖像头像生成模型，开启新时代

Loopy是由字节跳动和浙江大学共同研发的创新性音频驱动肖像头像生成模型。通过设计跨剪辑和剪辑内的时间模块，以及音频到潜在空间的模块，Loopy能够利用音频中的长期运动信息，生成自然且逼真的肖像头像视频。这一技术突破消除了传统方法中对空间运动模板的依赖，使得在各种场景下都能生成高质量的肖像头像。

核心特点：

• 音频驱动生成：仅通过音频输入，即可生成高质量的肖像头像视频，无需额外的空间条件。
• 长期运动依赖：通过时间模块设计，捕捉并利用音频中的长期运动信息，确保生成的肖像运动自然连贯。
• 多样化风格支持：能够处理不同的视觉和音频风格，生成适应性强的运动合成结果。
• 细节丰富的运动：从音频中生成包括非语言动作、情感驱动表情以及自然头部运动等丰富的细节。

主要功能：

• 音频到潜在空间的映射：通过音频特征映射到潜在空间，为生成肖像头像提供坚实基础。
• 时间模块设计：跨剪辑和剪辑内的时间模块，增强生成肖像的自然性和连贯性。
• 多样化肖像生成：支持生成不同视觉风格的肖像头像，包括非人类图像和侧面轮廓图像。
• 运动适应性合成：根据音频输入生成与之相匹配的运动细节，增强肖像头像的真实感。

应用示例：

• 歌唱表演肖像生成：输入歌唱音频，Loopy生成与节奏和情感相匹配的面部表情和头部运动，呈现逼真的歌唱表演。
• 非语言动作生成：通过捕捉音频中的细微变化，生成相应的非语言动作，如叹息时的眉毛微动和眼睛动作。
• 风格多样化生成：根据不同风格的音频输入，如古典音乐或流行音乐，生成相应风格的肖像头像，表现出不同的运动特性。

总结：

Loopy通过其创新的音频驱动技术和长期运动依赖，实现了仅通过音频输入生成逼真、自然的肖像头像视频。它适用于多种视觉和音频风格，提供了丰富的运动细节，为肖像头像生成领域带来了新的可能性和应用前景。