“通用大脑”来了！MIT何恺明用大模型思维玩出机器人预训练新花样

今天golang学习网给大家带来了《“通用大脑”来了！MIT何恺明用大模型思维玩出机器人预训练新花样》，其中涉及到的知识点包括等等，无论你是小白还是老手，都适合看一看哦~有好的建议也欢迎大家在评论留言，若是看完有所收获，也希望大家能多多点赞支持呀！一起加油学习~

MIT何恺明团队突破机器人训练瓶颈，赋予机器人“通用大脑”

机器人领域的“通用智能”探索取得重大进展！MIT何恺明教授及其团队，包括Lirui Wang、赵家梁和Meta研究员陈鑫磊，提出了一种名为“异构预训练Transformers”（HPT）的新架构，有效解决了机器人训练数据异质性难题，让机器人离拥有“通用大脑”的目标更近一步。 这项研究成果即将发表于神经信息处理系统会议（NeurIPS）。

传统机器人训练依赖于为每个任务、环境甚至硬件单独采集数据，效率低下且成本高昂（可能高达数百万美元）。 为了克服这一挑战，研究团队另辟蹊径，专注于让现有数据实现“通用化”，而非简单地增加数据量。

HPT架构的核心在于将不同来源的数据（模拟数据和真实机器人传感数据）统一到一种共享的“语言”中。 无论数据来自视觉传感器还是机械臂位置编码器，HPT都能将其转化为通用格式，避免了重复的数据收集和浪费。

HPT架构由三个模块组成：Stem（茎）、Trunk（树干）和Head（头）。Stem负责将不同类型的数据转化为标准化的令牌序列；Trunk利用Transformer架构将这些令牌转化为共享的潜在表示；Head则将潜在表示转化为具体的动作指令。

HPT的设计灵感源于GPT-4等大语言模型的“大规模预训练+少量微调”模式。 研究团队构建了一个包含52个数据集、20万条机器人轨迹的大型数据集，涵盖了人类演示视频和模拟数据。 在预训练阶段，HPT仅调整Trunk参数；在微调阶段，再根据具体任务调整Stem和Head参数，从而实现高效的迁移学习。

HPT的优势在于其高通用性、高效性和低成本。在模拟和实际测试中，其性能比传统训练方式提升了20%以上。 更重要的是，HPT不仅处理视觉数据，还支持直接处理传感器采集的原始信号，进一步扩大了数据使用范围。

这项研究特别重视本体感知，即机器人对自身状态（关节角度、末端执行器位置等）的感知能力。 将本体感知与视觉数据同等重要地处理，使机器人能够更精确地完成复杂任务，例如拧紧螺钉或拿稳易碎物品。

研究团队的最终目标是创建一个“通用机器人大脑”，让机器人训练像下载APP一样简单，无需繁琐的数据收集和培训。 这将极大地推动机器人技术的普及和应用。

作者简介： 文中简要介绍了何恺明、Lirui Wang、赵家梁和陈鑫磊的背景和研究方向。

(图片均已按照原文顺序和格式保留)

今天关于《“通用大脑”来了！MIT何恺明用大模型思维玩出机器人预训练新花样》的内容就介绍到这里了，是不是学起来一目了然！想要了解更多关于的内容请关注golang学习网公众号！