真实、可控、可拓展，自动驾驶光照仿真平台LightSim上新了

最近发现不少小伙伴都对科技周边很感兴趣，所以今天继续给大家介绍科技周边相关的知识，本文《真实、可控、可拓展，自动驾驶光照仿真平台LightSim上新了》主要内容涉及到等等知识点，希望能帮到你！当然如果阅读本文时存在不同想法，可以在评论中表达，但是请勿使用过激的措辞~

最近，Waabi AI、多伦多大学、滑铁卢大学和麻省理工的研究者们在NeurIPS 2023上提出了一个全新的自动驾驶光照仿真平台LightSim。研究者们提出了一种从真实数据中生成配对光照训练数据的方法，解决了数据缺失和模型迁移损失的问题。LightSim利用神经辐射场（NeRF）和基于物理的深度网络渲染车辆驾驶视频，首次在大规模真实数据上实现了动态场景的光照仿真

• 项目网站：https://waabi.ai/lightsim
• 论文链接：https://openreview.net/pdf?id=mcx8IGneYw

为什么需要自动驾驶光照仿真？

在机器人技术中，相机仿真是非常重要的，特别是对于自动驾驶车辆感知室外场景来说。然而，现有的相机感知系统在遇到未经训练的室外照明条件时表现不佳。通过使用相机模拟来生成多样的室外照明变化数据集，可以提升自动驾驶系统的稳定性

常见的相机仿真方法一般基于物理引擎。这种方法通过设定 3D 模型和照明条件来渲染场景。但往往仿真效果缺乏多样性且不够逼真。此外，由于高质量的 3D 模型数量有限，并且物理渲染结果与真实世界场景不完全匹配。这导致训练模型在真实数据上的泛化能力较差。

另一种方法是基于数据驱动的仿真方法。这种方法利用神经渲染技术重构真实世界的数字孪生，以复制传感器观测到的数据。通过这种方法，我们可以更加灵活地创建场景并提高真实感。然而，目前的技术将场景的照明信息嵌入到3D模型中，这样就限制了对数字孪生的编辑，比如改变照明条件或添加、删除物体等操作

在 NeurIPS 2023 的一篇工作中，来自 Waabi AI 的研究者们展示了一个基于物理引擎和神经网络的光照仿真系统 LightSim: Neural Lighting Simulation for Urban Scenes.

与以往工作不同，LightSim能够同时实现以下几点：

1. 真实（realistic）: 首次做到对大规模室外动态场景进行光照仿真，并且可以较为准确地模拟阴影、物体间的光照效果等。

2. 可控（controllable）：支持动态驾驶场景的编辑（增添、删除物体、相机位置和参数、改变光照、生成安全关键场景等），从而生成更逼真且一致性更强的视频来提升系统对于光照和边缘情况的鲁棒性。

3. 可扩展 (scalable): 方便扩展到更多的场景和不同数据集中，只需要采集一次数据（single pass), 就能重新建构并进行真实可控的仿真测试。

仿真系统的搭建

第一步：构建真实世界的可重新照明数字孪生体

为了在数字世界中重建自动驾驶场景，LightSim 首先从采集的数据中划分动态物体和静态场景。这一步使用了 UniSim 来重建场景，并在网络中移除了相机视角依赖。再使用 marching cube 得到 geometry, 并进一步转换为带有基本材料的 mesh。

除了材料和几何，LightSim 还能够根据室外白天场景的主要光源太阳和天空，估算室外照明，得到高动态范围的环境图（HDR Sky dome）。借助传感器数据和提取的几何体，LightSim 可以估算出一个不完整的全景图像，然后补全它，获得一个全方位 360° 的天空视图。从而利用这个全景图像和 GPS 信息生成 HDR 环境图，准确估算出太阳强度、太阳方向和天空外观。

重述内容：第二步骤是进行动态城市场景的神经照明仿真

在得到数字孪生体后，可以进一步对其进行修改，例如增加或移除物体，改变车辆轨迹或更改照明等，以生成增强现实的表征。LightSim 将执行基于物理的渲染，生成有关修改场景的照明相关数据，如基本色彩、深度、法向量和阴影。利用这些与照明相关的数据以及对场景源和目标照明条件的估算，LightSim 的工作流程如下所示。

尽管基于物理的渲染图像能够很好地重建场景中的照明效果，但由于几何形状的不完美以及材料/照明分解中的误差，渲染结果往往缺乏真实感，例如模糊、不真实的表面反射和边界伪影。因此，研究人员提出了增强真实感的神经延迟渲染。他们引入了一个图像合成网络，该网络利用预计算缓冲区中的源图像和渲染引擎生成的照明相关数据，生成最终的图像。同时，论文中的方法还为网络提供了环境图，以增强照明上下文，并通过数字孪生体生成了成对图像，提供了一种新颖的成对仿真和真实数据训练方案

仿真能力展示

改变场景的光照 (Scene Relighting)

LightSim 可以在新的光照条件下以时间一致的方式渲染同一场景。如视频所示，新的太阳位置和天空外观会导致场景的阴影和外观发生变化。

LightSim可以自动对场景进行批量重新照明。它可以从估计和真实的HDR环境图中生成与原场景相同的新的、时间一致的、3D感知的照明变化

影像修正 (Image Correction)

LightSim的照明表示是可编辑的，可以改变太阳的方向，从而更新与太阳光方向相关的照明变化和阴影。通过旋转HDR环境图并将其传递给神经延迟渲染模块，LightSim生成以下视频

LightSim还支持批量编辑阴影功能

光照感知角色插入 (Lighting-Aware Character Insertion)

除了修改照明之外，LightSim 还可以对不常见的对象（例如建筑障碍物）执行照明感知的添加。这些添加的对象可以更新物体的照明阴影、做到准确遮挡物体以及与整个相机配置的空间适配。

仿真迁移 (Generalization to nuScenes)

由于LightSim的神经延迟渲染网络是在多个驾驶视频上进行训练的，所以LightSim可以推广到新场景中。以下视频展示了LightSim在nuScenes中驾驶场景的泛化能力。LightSim可以为每个场景构建照明感知数字孪生，然后应用于在PandaSet上预训练的神经延迟渲染模型。LightSim的迁移性能良好，并且可以为场景重新照明提供较为鲁棒的解决方案

真实可控的相机仿真

综合以上展示的所有功能，LightSim 实现了可控、多样化且逼真的相机模拟。以下视频展示了 LightSim 的场景仿真性能。在视频中，一辆白色的车紧急变道至 SDV 车道，引入了新的路障，这使得白色车辆进入了产生一个全新的场景，在新场景的多种照明条件下 LightSim 生成的效果如下所示。

在下面的视频中，演示了一个新的实例。在现有的道路障碍中插入了新的障碍，并增加了一组新的车辆。通过使用LightSim进行仿真光照，使得新加入的车辆能够完美地融入到场景中

总结和展望

LightSim是一個可感知光照的相機模擬平台，提供處理大規模動態駕駛場景的服務。它能夠根據現實世界的數據構建可感知照明的數字孿生體，並對其進行修改，以創建具有不同物體布局、自動駕駛車視角的新場景。LightSim能夠模擬新的照明條件，實現多樣化、真實且可控的相機模擬，從而生成時間/空間一致的視頻。值得注意的是，LightSim還可以結合逆向渲染、天氣模擬等技術，進一步提升模擬性能

到这里，我们也就讲完了《真实、可控、可拓展，自动驾驶光照仿真平台LightSim上新了》的内容了。个人认为，基础知识的学习和巩固，是为了更好的将其运用到项目中，欢迎关注golang学习网公众号，带你了解更多关于模型,训练的知识点！