字节Seed与港大联手推出视觉生成强化学习框架DanceGRPO

DanceGRPO 是字节跳动 Seed 与香港大学联合推出的首个统一视觉生成强化学习框架。该框架将强化学习应用于视觉生成领域，涵盖了扩散模型和修正流模型两种生成模式，支持文本到图像、文本到视频、图像到视频三种任务类型，适配 SD、HunyuanVideo、FLUX、SkyReels-I2V 四种基础模型，并集成了图像视频美学、图文匹配、视频动态质量、二元奖励等五种奖励模型。DanceGRPO 通过优化训练效率和稳定性，显著提升了生成图像和视频的质量，使其更加贴近人类审美。

DanceGRPO 是字节跳动 Seed 和香港大学共同研发的首个统一视觉生成强化学习框架。该框架创新性地将强化学习应用于视觉生成领域，涵盖了两种生成模式（扩散模型和修正流模型）、三种任务类型（文本到图像、文本到视频、图像到视频）、四种基础模型（SD、HunyuanVideo、FLUX、SkyReels-I2V）以及五种奖励模型（图像视频美学、图文匹配、视频动态质量、二元奖励）。DanceGRPO 针对现有视觉生成任务中 RLHF 方法的不足之处进行了改进，实现了在多种生成模式、任务、基础模型和奖励模型间的无缝切换，大幅提升了模型性能，降低了显存消耗，并适应大规模提示数据集的训练，同时能够扩展至修正流和视频生成模型。

DanceGRPO的核心功能

• 提高视觉生成质量：使生成的图像和视频更加贴近人类审美，更加真实、自然。
• 整合多种生成模式和任务：支持文本到图像、文本到视频、图像到视频等多种任务类型。
• 兼容多种模型与奖励机制：适配多种基础模型和奖励模型，以满足多样化的使用需求。
• 优化训练效率与稳定性：减轻显存负担，加速训练进程，增强训练的可靠性。
• 强化人类反馈学习能力：促使模型更有效地从人类反馈中学习，生成更符合人类期待的内容。

DanceGRPO的工作原理

• 将去噪过程建模为马尔可夫决策过程：把扩散模型和修正流模型的去噪步骤视为马尔可夫决策过程（MDP），其中提示被视为状态的一部分，去噪过程中的每个步骤都被看作是一个动作，从而构建了强化学习的基础架构。
• 基于随机微分方程的采样方法：为了满足 GRPO 对随机探索的需求，DanceGRPO 将扩散模型和修正流模型的采样流程统一表述为随机微分方程（SDE）的形式。对于扩散模型，正向 SDE 描述的是数据逐步添加噪声的过程，而反向 SDE 则用于生成数据；对于修正流模型，则通过引入 SDE 来实现反向过程的随机性，为强化学习提供了必需的随机探索机制。
• 利用 GRPO 目标函数进行优化：借鉴 Deepseek-R1 中的 GRPO 策略，针对特定提示生成一组输出样本，并依据最大化 GRPO 的目标函数来优化策略模型。此目标函数兼顾奖励信号及不同样本间的优势函数，使得模型在训练期间能够更高效地学会根据奖励信号调整生成策略，从而提高生成结果的质量及其与人类偏好的契合度。
• 初始噪声与时间步长选择策略：在 DanceGRPO 框架内，初始噪声的选择至关重要。为了避免奖励操纵现象的发生，DanceGRPO 为源自相同文本提示的所有样本分配共享的初始噪声。此外，DanceGRPO 还采用了一种时间步长选择策略，在不影响性能的前提下减少计算量，提升训练效率。
• 多奖励模型的集成与优势函数聚合：为了保证训练的稳定性和生成结果的高品质，DanceGRPO 实际操作中会运用多个奖励模型。鉴于不同的奖励模型可能存在不同的量纲和分布，DanceGRPO 采取基于优势函数聚合的方式，更好地协调各奖励模型的贡献，使模型在优化过程中全面考量多个评估指标，生成更贴合人类预期的视觉内容。

DanceGRPO的项目资源

• 项目主页：http://dancegrpo.github.io/
• GitHub仓库：http://github.com/XueZeyue/DanceGRPO
• arXiv技术文档：http://arxiv.org/pdf/2505.07818

DanceGRPO的实际应用

• 文本到图像生成：按照文本描述创建高水准的图像，适用于广告设计、游戏开发等行业，助力提升创作速度。
• 文本到视频生成：依据文本生成流畅且连贯的视频，适合视频广告、教育培训视频制作，削减人工投入。
• 图像到视频生成：把静态图像转换成动态视频，可用于动画制作、虚拟现实，增添视觉享受。
• 多模态内容创作：融合文本、图像和视频生成多元化内容，应用于多媒体教育、互动娱乐等领域，加强沉浸感。
• 创意设计与艺术创作：协助艺术家和设计师迅速获取创意灵感和艺术作品，激发更多创新思维，提高工作效率。

今天关于《字节Seed与港大联手推出视觉生成强化学习框架DanceGRPO》的内容就介绍到这里了，是不是学起来一目了然！想要了解更多关于的内容请关注golang学习网公众号！