
Make-A-Character
Make-A-Character(Mach)是阿里巴巴集团智能计算研究院开发的AI 3D数字人生成框架。通过文本描述,Mach可快速生成高度逼真、可定制的3D角色,适用于元宇宙、游戏和电影等领域。Mach支持从文本解析到动画制作的全流程,提供灵活且高效的角色创建解决方案。
新介绍内容:
Make-A-Character(Mach)是什么:
Make-A-Character(Mach)是阿里巴巴集团智能计算研究院推出的一款先进的人工智能3D数字人生成框架。Mach通过文本描述快速生成高度逼真、个性化的3D角色,满足元宇宙、人工智能代理、游戏和电影行业对高质量3D角色的需求。
主要特点:
- 文本到3D角色生成:用户通过简单文本描述即可生成符合要求的3D角色模型,实现从想法到视觉化的快速转变。
- 灵活的可控定制:Mach允许用户对角色进行精细定制,包括面部特征、眼睛形状、发型和颜色等,确保角色符合用户的具体需求。
- 高度逼真的渲染:利用基于物理的渲染(PBR)技术和真实人类扫描数据,生成的角色具有极高的逼真度。
- 完整的角色模型:生成的3D角色模型包括眼睛、舌头、牙齿、全身和服装等所有细节,确保角色在各个方面的表现力。
- 动画支持:Mach生成的角色配备了高级骨骼刚体,支持标准动画制作,方便角色在不同场景中的应用。
- 行业兼容性:Mach生成的角色模型采用标准3D表示,易于集成到游戏和电影的CG流程中,提高了行业应用的便捷性。
主要功能:
- 文本解析与视觉提示生成:通过大型语言模型(LLM)理解文本中的语义信息,提取关键面部特征和属性。
- 参考肖像图像生成:结合Stable Diffusion模型和ControlNet生成参考肖像图像,辅助3D角色生成。
- 密集面部坐标检测:利用密集面部坐标重建面部和头部几何结构,确保角色的准确性。
- 几何生成:根据参考肖像图像和密集面部坐标重建头部几何结构,生成高质量的3D模型。
- 纹理生成:使用可微渲染技术从参考图像中提取纹理,提升角色的真实感。
- 纹理修正与完成:对生成的漫反射贴图进行修正,确保纹理的精确度。
- 头发生成:通过2D图像合成各种发型,然后基于这些图像进行3D发丝重建,实现逼真的发型效果。
- 资产匹配:将生成的头部与预先制作的头发、身体、服装和配饰等资产进行匹配,完成角色的整体构建。
使用示例:
Mach的使用非常直观,以下是一个典型的使用流程:
- 文本描述输入:用户输入文本描述,如“一个留着短发、有雀斑的年轻中国女孩”。
- 角色生成:Mach系统根据文本描述生成相应的3D角色模型。
- 定制调整:用户可以进一步调整角色的面部特征、发型、服装等,直至达到满意的效果。
- 动画制作:利用角色的骨骼刚体进行动画制作,如制作角色的行走或说话动画。
- 集成应用:将生成的角色模型无缝集成到游戏、电影或其他虚拟环境中,提升内容的表现力。
总结:
Make-A-Character(Mach)作为阿里巴巴集团的创新成果,为3D角色生成提供了强大的AI解决方案。通过文本描述快速生成逼真、可定制的3D角色,Mach不仅提升了角色创建的效率和质量,还适用于多种行业应用,为元宇宙、游戏和电影等领域带来无限可能。