“真假难辨”！巧用NeRF生成的自动驾驶仿真数据

写在前面&笔者的个人理解

神经辐射场（NeRF）已成为推进自动驾驶（AD）重新搜索的前奏的工具，提供可扩展的闭环模拟和数据增强功能。然而，为了信任模拟中获得的结果，需要确保AD系统以相同的方式感知真实数据和渲染数据。尽管渲染方法的性能正在提高，但许多场景在忠实重建方面仍然具有固有的挑战性。为此，我们提出了一种新的视角来解决真实数据与模拟数据之间的差距。我们不仅专注于提高渲染保真度，而是探索简单而有效的方法，在不影响真实数据性能的情况下，增强感知模型对NeRF伪影的鲁棒性。此外，我们使用最先进的神经渲染技术，首次对AD设置中的真实到模拟数据间隙进行了大规模调查。具体来说，我们的研究在真实和模拟数据上评估了对象检测器和在线映射模型，并研究了不同预训练策略的效果。我们的结果显示，模型对模拟数据的精确性显著提高，甚至在某些情况下提高了真实世界的性能。最后，我们深入研究了真实到模拟之间的相似性，将FID和LPIPS确定为强指标。

在本文中，我们提出了一种新的视角来缩小智驾系统和感知模块之间的差距。我们的目标不是提高渲染质量，而是在不降低真实数据性能的情况下，使感知模型对NeRF伪影更具鲁棒性。我们认为，这一方向是对提高NeRF性能的补充，也是实现虚拟AV测试的关键。作为朝着这个方向迈出的第一步，我们表明，即使是简单的数据增强技术也会对模型对NeRF伪影的鲁棒性产生很大影响。

我们对大规模AD数据集进行了首次广泛的real2sim+gap研究，并评估了多个目标检测器以及在线建图模型对真实数据和最先进（SOTA）神经渲染方法数据的性能。我们的研究包括训练过程中不同数据增强技术的影响，以及推理过程中NeRF渲染的保真度。我们发现，在模型微调过程中，这些数据显示出增强技术的影响，以及NeRF渲染的保真度在某些情况下甚至提高了对真实数据的性能。最后，我们研究了real2sim之间的隐含和常见图像重建指标的相关性，并深入解将NeRFs用于CAD数据模拟器的重要意义。我们发现LPIPS和FID是real2sim差距的有力指标，并一步验证了我们提出的增强降低了对比差视觉合成性的敏感性。

方法详解

为了测试和验证NeRF驱动的模拟引擎的AD功能，他们可以使用已经收集的数据来探索新的虚拟场景。然而，为了使用此类模型结果可信，AD系统在处理数据和实际数据时必须以相同的方式运行。在这项工作中，我们提出了一种替代和补充方法，即调整AD系统，使其对真实数据和模拟数据之间的差异不那么敏感。通过这种方式，我们可以调整AD系统，以便使真实数据和模拟数据之间的差异不那么敏感，从而更好地处理真实数据和模拟数据之间的差异。

在探索微调策略如何使感知模型对渲染数据中的伪影更具鲁棒性的第一步时，我们使用了不同的微调策略。具体来说，在给定已经训练好的模型的情况下，我们利用图像来微调感知模型，这些图像着重于提高渲染图像的性能，同时保持真实数据的性能，见图2。除了减少real2sim差距外，这还可能降低传感器真实性的要求，为神经渲染方法的更广泛应用铺平道路，并减少对描述方法的训练和评估的计算需求。请注意，当我们专注于感知模型时，我们的方法也可以很容易地扩展到端到端模型。

最后，我们可以想象多种方法来实现使模型更健壮的目标，例如从领域自适应和多任务学习文献中汲取灵感。然而，微调需要最小的模型特定调整，使我们能够轻松地研究一系列模型。

Image augmentations

图像增强是一种常用的方法，用于对伪影增强鲁棒性的经典策略是使用图像增强。在这里，我们选择增强来表现渲染图像中存在的各种失真。更具体地说，我们添加随机高斯噪声，将图像与高斯模糊核卷积，应用类似于SimCLR中发现的光度失真。最后，对图像进行下采样和上采样。增广是按顺序应用的，每个增广都有一定的概率。

Fine-tuning with mixed-in rendered images

NeRF是一种用于渲染3D场景的深度学习模型。在微调期间，模型可以适应另一种自然形式，即在微调期间包含这种数据。这有助于训练NeRF模型的能力，以便可以在监控感知模型的相同数据集上训练NeRF方法。然而，在大型数据集上训练NeRF的成本可能高昂，其中一些可能需要进行3D对象检测、语义分割或多种类别标签等任务的标签。此外，AD的NeRF常常还增加了中数据的顺序要求。为了适应这些要求，标签可能需要更多的特殊处理，例如3D对象检测，语义分割或多种类别标签等。

接下来，我们将中所选序列的图像划分为NeRF训练集和保持集。感知模型的微调是在它们的整个训练数据集D上完成的，对于在D中具有渲染对应关系的图像，我们使用具有概率p的渲染图像。这意味着用于微调的图像没有被NeRF模型看到。

Image-to-image translation

如前所述，渲染NeRF数据是一种昂贵的数据增强技术。此外，除了感知任务所需的数据外，它还需要顺序数据和潜在的额外标记。也就是说，为了获得可扩展的方法，我们理想地想要一种有效的策略来获得单个图像的NeRF数据。为此，我们建议使用图像对图像的方法来学习生成类NeRF图像。给定真实图像，该模型将图像转换到NeRF域，有效地引入了NeRF的典型伪影。这使我们能够在有限的计算成本下，在微调过程中大幅增加类NeRF图像的数量。我们使用渲染图像Dnerf及其相应的真实图像来训练图像到图像模型。不同增强策略的可视化示例见图3。

结果

结论

神经辐射场（NeRF）已成为模拟自动驾驶（AD）数据的一种很有前途的途径。然而，为了实用，必须了解AD系统在模拟数据上执行的行为是如何转换为真实数据的。我们的大规模调查揭示了暴露于模拟图像和真实图像的感知模型之间的性能差距。

与早期专注于提高渲染质量的方法不同，本文研究了如何改变感知模型，使其对NeRF模拟数据更具鲁棒性。我们表明，使用NeRF或类似NeRF的数据进行微调，在不牺牲真实数据性能的情况下，大大减少了对象检测和在线映射方法的real2sim间隙。此外，我们还表明，在现有的列车分布之外生成新的场景，例如模拟车道偏离，可以提高实际数据的性能。对NeRF社区内常用图像指标的研究表明，LPIPS和FID分数与感知性能表现出最强的相关性。这表明，与单纯的重建质量相比，感知相似性对感知模型具有更大的意义。

总之，我们认为NeRF模拟数据对AD有价值，尤其是当使用我们提出的方法来增强感知模型的稳健性时。此外，NeRF数据不仅有助于在模拟数据上测试AD系统，而且有助于提高感知模型在真实数据上的性能。