南洋理工、北大与上海AILab联合推出WorldMem世界生成模型

WorldGen是由新加坡南洋理工大学、北京大学及上海AI实验室联合研发的一款开创性人工智能世界生成模型。通过引入记忆机制，WorldGen有效解决了传统模型在长时间序列中缺乏一致性的问题。该模型不仅能在多样场景中生成连贯的虚拟世界，还具备模拟动态变化和支持交互操作的能力。其技术原理包括条件生成、记忆读取与写入以及记忆整合模块，广泛应用于电子游戏、虚拟现实、无人驾驶、建筑设计和教育培训等领域。

WorldGen是什么

WorldGen 是由新加坡南洋理工大学、北京大学以及上海 AI 实验室共同研发的一款开创性的人工智能世界生成模型。该模型通过引入记忆机制，有效解决了传统世界生成模型在长时间序列中缺乏一致性的核心问题。在WorldGen中，智能体能够在多样的场景中自由活动，生成的虚拟世界即使在视角或位置发生变化后，依然能够维持几何上的连贯性。WorldGen 还具备时间一致性建模的能力，能够模拟动态变化的过程（例如物体对环境产生的影响）。模型以Minecraft数据集为基础进行了大规模训练，并在真实环境中验证了其效果。WorldGen 为构建真实、持续且可交互的虚拟世界提供了全新的技术解决方案。

WorldGen的主要功能

• 保持一致性：确保虚拟世界在长时间生成过程中保持统一性。
• 模拟动态变化：模拟随着时间流逝所发生的各种变化，例如物体对周围环境造成的影响（如灯光导致积雪融化）。
• 支持交互操作：允许用户在虚拟世界内放置物品或执行操作，并使这些行为影响后续内容的生成。
• 多样化的场景生成：能够在不同类型的虚拟场景（如草原、沙漠、极地等）中自由探索。
• 适用于现实情况：在真实的场景数据集上测试并证明了生成内容的一致性。

WorldGen的技术原理

• 条件生成模块：采用条件扩散变换器（Conditional Diffusion Transformer）架构，并结合Diffusion Forcing训练方法，实现自回归式的长时生成。利用外部动作指令（如移动方向、观察角度调整及物品摆放等）来指导第一人称视角下的内容生成。
• 记忆读取与写入模块：记忆库保存生成过程中重要的历史数据，每个记忆单元都包含了图像画面及其相关状态信息（如视角位置和时间标记）。记忆检索采用贪婪匹配算法，依据视野覆盖程度与时长差异来计算相似度，从而快速挑选出与当前情境最为契合的记忆片段。
• 记忆整合模块：将当前帧与记忆中的某一帧的状态嵌入值（包括位置信息和时间参数）相结合，借助注意力机制抽取与当下情景最贴合的记忆元素，进而生成混合特征以引导当前帧的创作。使用Plücker坐标表示位置关系，并通过多层感知机(Multi-Layer Perceptron, MLP)转换时间戳，同时加入相对嵌入策略，增强模型对于空间结构的理解能力和细节表现力。

WorldGen的相关资源链接

• 官方网站：http://xizaoqu.github.io/worldgen/
• GitHub代码仓库：http://github.com/xizaoqu/WorldGen
• 学术论文PDF下载：http://arxiv.org/pdf/2504.12369
• 在线演示平台：http://huggingface.co/spaces/yslan/worldgen

WorldGen的实际应用领域

• 电子游戏开发：打造长期稳定的游戏宇宙，鼓励玩家自由探险并与环境互动。
• 虚拟现实(VR)/增强现实(AR)：构建持久化且不断演化的虚拟空间，提高用户体验的真实感。
• 无人驾驶技术：重现复杂的道路交通状况，用于训练自动驾驶系统。
• 建筑设计行业：生成虚拟建筑物布局，帮助设计师评估概念方案。
• 教育培训行业：设计互动式学习平台，让学生有机会参与实验探究等活动。

今天带大家了解了的相关知识，希望对你有所帮助；关于科技周边的技术知识我们会一点点深入介绍，欢迎大家关注golang学习网公众号，一起学习编程~