LightSim：NeurIPS 2023推出的自动驾驶光照仿真平台，实现真实、可控和可拓展的模拟体验

知识点掌握了，还需要不断练习才能熟练运用。下面golang学习网给大家带来一个科技周边开发实战，手把手教大家学习《LightSim：NeurIPS 2023推出的自动驾驶光照仿真平台，实现真实、可控和可拓展的模拟体验》，在实现功能的过程中也带大家重新温习相关知识点，温故而知新，回头看看说不定又有不一样的感悟！

最近，来自 Waabi AI、多伦多大学、滑铁卢大学和麻省理工的研究者们在 NeurIPS 2023 上提出了一种全新的自动驾驶光照仿真平台 LightSim。研究者们提出了从真实数据中生成配对的光照训练数据的方法，解决了数据缺失和模型迁移损失的问题。LightSim 利用神经辐射场（NeRF）和基于物理的深度网络渲染车辆驾驶视频，首次在大规模真实数据上实现了动态场景的光照仿真。

• 项目网站：https://waabi.ai/lightsim
• 论文链接：https://openreview.net/pdf?id=mcx8IGneYw

LightSim 可以在新的光照条件下以时间一致的方式渲染同一场景。如视频所示，新的太阳位置和天空外观会导致场景的阴影和外观发生变化。LightSim 可以批量地进行场景重新照明，从估计的和真实的 HDR 环境图中生成同一场景的新的时间一致的和可 3D 感知的照明变化。 

LightSim 的照明表示是可编辑的，可以改变太阳的方向，从而更新与太阳光方向相关的照明变化和阴影。LightSim 通过旋转 HDR 环境图并将其传递给神经延迟渲染模块以生成以下视频。LightSim 也可以批量地进行阴影编辑。 

除了修改照明之外，LightSim 还可以对不常见的对象（例如建筑障碍物）执行照明感知的添加。这些添加的对象可以更新物体的照明阴影、做到准确遮挡物体以及与整个相机配置的空间适配。

由于 LightSim 的神经延迟渲染网络是在多个驾驶视频上进行训练的，因此 LightSim 可以推广到新场景中。以下视频展示了 LightSim 泛化到 nuScenes 中的驾驶场景的能力。LightSim 可以为每个场景构建照明感知数字孪生，然后应用于在 PandaSet 上预训练的神经延迟渲染模型。LightSim 迁移性能良好，并且可以较为鲁棒地为场景重新照明。

综合以上展示的所有功能，LightSim 实现了可控、多样化且逼真的相机模拟。以下视频展示了 LightSim 的场景仿真性能。在视频中，一辆白色的车紧急变道至 SDV 车道，引入了新的路障，这使得白色车辆进入了产生一个全新的场景，在新场景的多种照明条件下 LightSim 生成的效果如下所示。以下视频中展示了另一个实例，插入了新的道路障碍后，又添加了一组新的车辆。使用 LightSim 搭建的仿真光照，让新加入的车辆能够无缝地融入到场景中。 

终于介绍完啦！小伙伴们，这篇关于《LightSim：NeurIPS 2023推出的自动驾驶光照仿真平台，实现真实、可控和可拓展的模拟体验》的介绍应该让你收获多多了吧！欢迎大家收藏或分享给更多需要学习的朋友吧~golang学习网公众号也会发布科技周边相关知识，快来关注吧！