北大与人大联合发布Being-M0人形机器人动作模型

北京大学与中国人民大学等机构联合推出的Being-M0人形机器人动作模型，依托百万级别动作数据集MotionLib，创新性地采用MotionBook编码技术，将动作序列转化为二维图像，显著提升了动作生成的多样性和语义匹配的准确性。该模型不仅支持文本驱动动作生成和动作迁移，还兼容多模态数据，适用于人形机器人操控、动画制作、虚拟现实与增强现实、人机交互及运动分析与康复等多个应用场景。

Being-M0是什么

Being-M0是由北京大学、中国人民大学等多家机构共同研发的首款大规模人形机器人通用动作生成模型。Being-M0依托于业界首个百万级别动作数据集MotionLib，采用创新性的MotionBook编码技术，将动作序列转换成二维图像以实现高效表示与生成。这一模型验证了大数据与大模型结合在动作生成领域中的技术潜力，大幅提升了动作生成的多样性和语义匹配的准确性，并实现了从人体动作到多款人形机器人的高效迁移，为通用动作智能奠定了坚实的基础。

Being-M0的主要功能

• 文本驱动动作生成：依据输入的自然语言描述生成对应的人类动作序列。
• 动作迁移：模型能够将生成的人类动作适配至多种人形机器人平台上，例如Unitree H1、H1-2、G1等，使机器人能够执行类似人类的动作。
• 多模态数据支持：Being-M0兼容多种类型的数据，包括RGB视频、深度信息等，可处理多人互动场景，为复杂环境下的动作生成提供支撑。

Being-M0的技术原理

• 大规模数据集 MotionLib：该数据集是业界首个百万级别的动作生成数据库，包含了超过120万条动作序列，规模相当于现有最大公开数据集的15倍。数据集通过自动化流程从公开资源和在线平台采集，并进行了细致标注。
• MotionBook 编码技术：利用MotionBook编码技术，将动作序列构建成单一通道的二维动作图像，在时间轴和关节轴上构建独立编码空间，全面保存运动的多维特性。通过降维投影去除传统codebook查找步骤，使得动作词汇表容量增加了两个数量级。
• 优化+学习的双阶段策略：针对动作迁移问题，采用了优化与学习相结合的双阶段方案。优化阶段运用多目标优化算法生成符合机器人运动学约束的动作序列；学习阶段则借助轻量级MLP网络学习从人体动作到人形机器人动作的映射关系，从而实现高效的迁移过程。

Being-M0的项目地址

• 项目官网：http://beingbeyond.github.io/Being-M0/
• arXiv技术论文：http://arxiv.org/pdf/2410.03311

Being-M0的应用场景

• 人形机器人操控：让机器人依照文字命令完成指定动作。
• 动画制作：快速创建高品质的动作序列，加快制作进度。
• 虚拟现实与增强现实：实时生成交互式动作，强化沉浸体验。
• 人机交互：帮助机器人更准确地理解人类指令，改善协作效能。
• 运动分析与康复：协助运动员训练及患者康复。

今天关于《北大与人大联合发布Being-M0人形机器人动作模型》的内容介绍就到此结束，如果有什么疑问或者建议，可以在golang学习网公众号下多多回复交流；文中若有不正之处，也希望回复留言以告知！