2024年世界模型是否将颠覆自动驾驶标注行业？

1.数据标注面临的问题(特别是基于BEV 任务）

随着基于BEV transformer 任务的兴起，随之带来的是对数据的依赖变的越来越重，基于BEV 任务的标注也变得越来越重要。目前来看无论是2D-3D的联合障碍物标注，还是基于重建点云的clip 的车道线或者Occpuancy 任务标注都还是太贵了(和2D标注任务相比，贵了很多)。当然业界里面也有很多基于大模型等的半自动化，或者自动化标注的研究。还有一方面是自动驾驶的数据采集，周期太过于漫长，还涉及到数据合规能一系列问题。比如，你想采集一个平板车跨相机的场景，或者一个车道线城市多变少，少变多的场景，就需要采集人员专项去构建这样的场景。

2.24年会是世界模型的奇点时刻吗？

世界模型这一概念涵盖范围广泛，可以被视为传感器模拟。在特斯拉AI日上，我第一次目睹仿真技术对数据标注的颠覆性影响。

图1: 特斯拉的自动化标注效果图二 4D 重建的效果

当我第一次看到这个消息时，感到非常惊讶，简直像是发现了一款颠覆传统的特斯拉电动汽车一样。随着越来越多的研究人员投入到这个领域，我们看到了许多出色的研究成果。UniSim的自动驾驶仿真系统具备了重播、动态物体行为控制、自由视角渲染等功能，这些功能对于每个正在训练的模型研究者来说都是非常令人向往的。

还可以对lidar 进行仿真。

具体见: https://zhuanlan.zhihu.com/p/636695025. 这个方向还有更多的的类似的研究。

NeuRAD: Neural Rendering for Autonomous Driving

DrivingGaussian: Composite Gaussian Splatting for Surrounding Dynamic Autonomous Driving Scenes 以上的方法都大多和Nerf 相关，整个pipeline 都比较重。还有另一个方向，基于扩散的研究方向。目前也取得了不错的研究。

BEVControl: Accurately Controlling Street-view Elements withMulti-perspective Consistency via BEV Sketch Layout

BEVControl: Accurately Controlling Street-view Elements withMulti-perspective Consistency via BEV Sketch Layout

< MagDriver MAGIC DRIVE : STREET VIEW GENERATION WITH DIVERSE 3D GEOMETRY CONTROL >

技术发展太快了，传感器仿真的门槛正在降低，有可能24年自动驾驶标注行业会出现一些颠覆性的产品出来！