全面梳理200+篇前沿论文，视觉生成模型理解物理世界规律的通关密码，都在这篇综述里了！

哈喽！今天心血来潮给大家带来了《全面梳理200+篇前沿论文，视觉生成模型理解物理世界规律的通关密码，都在这篇综述里了！》，想必大家应该对科技周边都不陌生吧，那么阅读本文就都不会很困难，以下内容主要涉及到，若是你正在学习科技周边，千万别错过这篇文章~希望能帮助到你！

生成式物理AI：赋予视觉生成模型物理理解能力的综述

AIxiv 专栏持续关注前沿学术动态，多年来已报道超过2000篇来自全球顶尖实验室的学术论文，致力于促进学术交流与传播。欢迎投稿或联系报道 (liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com)。

视频生成技术方兴未艾，有望成为模拟物理世界的“世界模型”，推动自动驾驶和机器人等领域发展。然而，现有模型在物理规律建模方面仍存在不足。来自悉尼大学、西澳大学等机构的研究人员近期发表综述文章，深入探讨如何将物理知识融入视觉生成模型。

• 论文标题: Generative Physical AI in Vision: A Survey
• 论文链接: https://arxiv.org/abs/2501.10928

生成式物理AI的核心概念

该综述首先明确了几个关键概念：物理模拟（根据物理模型模拟数据随时间变化）、物理理解（从观测数据推断物理模型或参数）、以及生成（使用生成模型创建新内容）。其中，不考虑物理规律的生成称为无物理感知生成，反之则为物理感知生成。

物理感知生成又可细分为两类：基于显式物理模拟的（PAG-E）和无显式物理模拟的（PAG-I）。PAG-E方法根据物理模拟和生成模型的融合方式，可分为六大范式：

基于显式物理模拟的生成 (PAG-E): 六大范式

1. 生成后模拟 (Gen-to-Sim): 先生成内容，再添加物理属性使其可模拟和交互 (例如PIE-NeRF, PhysGaussian)。

2. 生成中模拟 (Sim-in-Gen): 将物理模拟直接集成到生成模型中 (例如PhysGen, PhyCAGE, PhysDiff)。

3. 生成与模拟并行 (Gen-and-Sim): 生成和模拟同时进行或紧密关联 (例如PAC-NeRF, iPAC-NeRF, PhysMotion)。

4. 模拟约束生成 (Sim-Constrained Gen): 物理模拟为生成模型提供训练约束 (例如PhysComp, Atlas3D, DiffuseBot)。

5. 生成约束模拟 (Gen-Constrained Sim): 生成模型为模拟提供指导或先验知识 (例如Physics3D, DreamPhysics, PhysDreamer)。

6. 模拟评估生成 (Sim-Evaluated Gen): 生成的內容用于基于模拟的部署 (例如PhysPart, PhyScene)。

无显式物理模拟的生成 (PAG-I)

一些大型视频生成模型已展现出一定的物理推理能力。例如，PhyT2V 利用大语言模型提供物理知识，Generative Interactive Dynamics 模拟物体受力变化，Motion Prompting 通过运动轨迹控制视频生成，CoCoGen 在采样过程中注入物理信息等。

物理评估：衡量模型的物理“实力”

传统评估指标难以准确衡量物理规律的符合程度。为此，研究者们开发了新的数据集和指标，例如PhyBench、PhyGenBench和VideoPhy等，以及人工和自动评估方法。

未来展望：物理AI的无限可能

综述最后展望了生成式物理AI的未来方向，包括改进评估方法、提升模型可解释性、物理知识增强的大模型、神经-符号混合模型、生成式模拟引擎以及跨学科应用等。

更多相关论文，请访问：https://github.com/BestJunYu/Awesome-Physics-aware-Generation

以上就是《全面梳理200+篇前沿论文，视觉生成模型理解物理世界规律的通关密码，都在这篇综述里了！》的详细内容，更多关于理论的资料请关注golang学习网公众号！