JHU 陈杰能：世界模型+心智模型，让具身智能体拥有「想象力」

从现在开始，努力学习吧！本文《JHU 陈杰能：世界模型+心智模型，让具身智能体拥有「想象力」》主要讲解了等等相关知识点，我会在golang学习网中持续更新相关的系列文章，欢迎大家关注并积极留言建议。下面就先一起来看一下本篇正文内容吧，希望能帮到你！

马尔奖得主Alan Yuille团队发布重磅世界模型GenEx，赋予AI“想象力”

近日，约翰霍普金斯大学Alan Yuille教授团队发布了备受瞩目的世界模型GenEx，引发具身智能领域广泛关注。该项目由李飞飞创立的World Labs同期推出，其核心在于赋予AI“想象力”，使智能体通过想象的观测探索生成式世界。

GenEx的设计灵感源于人类心智模型，旨在模拟人类大脑对世界的认知方式，从而构建更智能、更灵活的AI系统。系统包含两个关键组件：一个动态生成可探索三维环境的“想象世界”，以及与之交互、完善自身理解和决策能力的“具身智能体”。这两个组件构成一个共生系统，使AI能够模拟、探索和学习，如同人类的认知过程。

(项目链接：https://www.genex.world/)

GenEx仅需单张RGB图像即可生成连贯的三维想象环境，并通过360度全景视频增强其真实感。在GenEx生成式想象力的驱动下，智能体能够执行复杂任务，包括无目标探索和目标驱动导航。智能体利用对物理世界未观测部分的预测性预期完善自身认知，模拟不同决策结果，并做出更明智的选择。GenEx还可扩展至多智能体场景，智能体可根据其他智能体想象的认知更新自身认知。

该项目核心作者是约翰霍普金斯大学即将毕业的中国博士生陈杰能。

从医学图像到具身智能：陈杰能博士的科研之路

陈杰能博士本科毕业于同济大学计算机系，2020年进入约翰霍普金斯大学攻读博士学位，师从Alan Yuille教授。在转向世界模型和空间智能之前，他的研究重点是医学图像。他曾发表了将Transformer与U-Net融合的网络模型TransUNet，至今引用量已超过5000次。

自今年起，陈杰能将研究重心转向世界模型和空间智能领域，致力于基于单张图像生成具备交互功能的3D世界，并将其构建为具身智能体的心智模型，以辅助智能体决策。

从医疗图像到具身智能，陈杰能认为自己已完成上一个阶段的目标，并希望探索新的科研方向。

(以下为AI科技评论与陈杰能博士的对话节选，原文内容较长，此处仅摘录部分关键内容)

关于TransUNet和医学影像研究： 陈杰能博士分享了TransUNet的研发思路，以及他选择医学影像领域的原因，并简述了其在达摩院医疗AI团队实习期间CancerUniT项目的经历，强调了疾病筛查，特别是癌症筛查的重要性。

关于视觉基础模型和空间智能： 陈杰能博士谈到了他在字节Seed团队参与视觉基础模型研究的经历，以及ViTamin模型的研发过程。他解释了空间智能的核心概念，并将其与医疗图像研究进行了比较，指出了两者间的联系和区别。

关于世界模型和心智模型： 陈杰能博士详细阐述了他对世界模型和心智模型的理解，以及GenEx项目的核心思想。他解释了如何将心智模型应用于具身智能，并探讨了心智模型与常识理解的关系。他强调了GenEx在高层次具身智能研究中的重要性，以及其在辅助人类认知决策方面的潜力。

总而言之，GenEx的发布标志着具身智能领域取得了重要进展，为AI赋予了更接近人类认知能力的“想象力”，为未来AI发展方向提供了新的思路。陈杰能博士的科研经历也展现了年轻一代科研人员的创新精神和对科学的执着追求。

理论要掌握，实操不能落！以上关于《JHU 陈杰能：世界模型+心智模型，让具身智能体拥有「想象力」》的详细介绍，大家都掌握了吧！如果想要继续提升自己的能力，那么就来关注golang学习网公众号吧！