阿里高德HumanRig发布：3D人形角色自动绑定数据集

阿里巴巴高德地图发布了HumanRig，一个用于3D人形角色自动绑定的数据集和框架。HumanRig数据集包含11434个高质量的T姿态网格，解决了现有技术因缺乏高质量数据而受限的问题。其自动绑定框架结合先验引导骨架估计器(PGSE)和网格-骨架互注意力网络(MSMAN)，实现了高效精准的骨架回归和蒙皮权重估计，显著提升了3D角色动画制作效率。该技术应用于游戏、影视、VR/AR及3D数字人等领域，可大幅降低制作成本，提升角色动画的自然性和流畅性。项目官网和论文已公开发布，欢迎访问了解更多信息。

HumanRig 是由阿里巴巴团队开发的一个针对 3D 人形角色自动绑定的研究项目。该项目旨在解决现有绑定技术因缺乏高质量数据集而发展受限的问题，通过提供大规模、高质量的数据集和创新的自动绑定框架，推动 3D 角色动画制作的自动化发展。HumanRig 数据集包含 11434 个 T 姿态网格，遵循统一的骨骼拓扑结构，具有多样化的头部与身体比例，填补了现有数据集在规模、多样性和骨骼一致性方面的空白。自动绑定框架通过先验引导骨架估计器（PGSE）和网格 - 骨架互注意网络（MSMAN），实现从粗到细的 3D 骨架关节回归和蒙皮权重估计，生成可用于动画制作的角色，其性能优于现有方法。

HumanRig 的主要功能包括：

• 提供大规模高质量数据集：HumanRig 是首个专为 3D 人形角色自动绑定任务设计的大规模数据集，包含 11,434 个高质量的 AI 生成人形网格。所有模型均以 T-pose 呈现，并严格遵循行业标准的骨架拓扑结构，可直接应用于主流动画引擎。该数据集在规模、多样性和骨骼一致性方面具有显著优势，涵盖了从真实人物到卡通角色，甚至拟人化动物的广泛角色类型。
• 先验引导骨架估计器（PGSE）：基于 2D 先验信息投射到 3D 空间，初始化粗略骨架，大幅降低绑定任务的复杂度。
• U 形 Point Transformer 作为网格编码器：摒弃了对 3D 网格的边信息的依赖，增强了复杂网格上的绑定鲁棒性。
• 网格 - 骨架互注意力网络（MSMAN）：通过在高级语义空间中融合网格与骨架特征，实现了骨架构建与蒙皮的联合优化。

HumanRig 的技术原理包括：

• HumanRig 数据集构建：
  • 生成多样化 2D 图像：通过 AI 驱动的 2D 图像生成技术，从文本描述中生成多样化的 T-pose 角色图像。
  • 生成高质量 3D 网格：利用 InstantMesh 和 Unique3D 等工具，将 2D 图像转换为高质量的 3D 网格。
  • 筛选与优化：从 17,268 个初始网格中筛选出 14,662 个高质量模型，并使用 Mixamo 半自动化工具进行骨骼绑定，最终形成 11,434 个高质量绑定模型。
• 自动绑定流程：
  • 骨架初始化：通过 PGSE 模块生成粗略骨架。
  • 特征提取：分别使用基于 MLP 的骨架编码器和 U 形 Point Transformer 提取骨架和网格特征。
  • 特征融合与优化：通过 MSMAN 模块融合骨架和网格特征，实现从粗到细的骨架关节回归和蒙皮权重估计。
  • 生成动画角色：最终将优化后的骨架和蒙皮权重结合，生成可用于动画制作的角色。

HumanRig 的项目地址包括：

• 项目官网：http://c8241998.github.io/HumanRig/
• arXiv 技术论文：http://arxiv.org/pdf/2412.02317

HumanRig 的应用场景包括：

• 游戏开发：在游戏开发中，HumanRig 的自动绑定技术可以大幅减少角色动画制作的时间和成本，在处理复杂角色模型（如带有复杂衣物或配件的角色）时表现出色。
• 影视制作：在影视行业，HumanRig 的自动绑定技术能快速生成高质量的角色绑定，显著提升制作效率。
• 虚拟现实（VR）和增强现实（AR）：在虚拟现实和增强现实应用中，实时交互的角色动画是提升沉浸感的关键。HumanRig 的自动绑定技术能为虚拟角色提供实时的骨骼动画支持，确保角色动作的自然性和流畅性。
• 3D 数字人：通过自动绑定技术，高德地图能快速生成个性化 3D 数字人，为用户提供更具互动性和趣味性的导航体验。

以上就是《阿里高德HumanRig发布：3D人形角色自动绑定数据集》的详细内容，更多关于的资料请关注golang学习网公众号！