在线建图与轨迹预测如何紧密结合？

原标题：Producing and Leveraging Online Map Uncertainty in Trajectory Prediction

论文链接：https://arxiv.org/pdf/2403.16439.pdf

代码链接：https://github.com/alfredgu001324/MapUncertaintyPrediction

作者单位：多伦多大学 Vector Institute NVIDIA Research 斯坦福大学

论文思路：

高精（HD）地图在现代自动驾驶汽车（AV）技术栈的发展中扮演了不可或缺的角色，尽管与此相关的标注和维护成本很高。因此，许多近期的工作提出了从传感器数据在线估计HD地图的方法，使自动驾驶技术栈中的整合变得复杂。特别是，它们不生成不确定性或置信度估计。本文扩展了多个最先进的在线地图估计方法，使其能够够额外估计不确定性，并且在真实世界的nuScenes驾驶数据集上的预测能力提高多达15%。在此过程中，本文发现纳入不确定性可以使训练收敛速度提高多达50%，并且在真实世界的nuScenes驾驶数据集上的预测能力提高多达15%。

主要贡献：

本文介绍了一个通用的矢量化地图不确定性描述，并扩展了许多最先进的在线地图估计方法，使其额外输出不确定性估计，而不会降低纯建图性能。

本文通过实证分析潜藏在的地图不确定性来源，确认了当前地图估计方法缺乏置信度的地方，并为未来的研究方向提供了信息。

本文将讨论近期的在线地图估计模型与多个最先进的轨迹预测方法相结合， 并展示了如何通过纳入在线建图不确定性显著提高下游预测模型的性能和训练特性，加速训练收敛速度高达50%，并提高在线预测准确性达到15%。

网络设计：

自动驾驶的一个关键组成部分是理解静态环境，例如，围绕自动驾驶汽车（AV）的道路布局和通行性。因此，已经开发出高精度（HD）地图来捕捉和提供此类信息，包含了道路边界、车道分隔线以及厘米级别的道路标记等语义信息。近年来，HD地图已被证明对于自动驾驶汽车的开发和部署是不可或缺的，今天已被广泛使用[35]。然而，HD地图的标注和长期维护成本高昂，并且它们只能在地理围栏区域（geofenced areas）使用，这限制了自动驾驶汽车的可扩展性（scalability）。”。

为了解决这些问题，许多近期的研究转向从传感器数据在线估计高精（HD）地图。广义上，它们的目标是预测地图元素的位置和类别，通常以多边形或折线的形式，全部来源于相机图像和激光雷达（LiDAR）扫描。然而，当前的在线地图估计方法并未产生任何相关的不确定性或置信度信息。这是有问题的，因为它导致下游使用者(consumers)隐含地假设推断出的地图组件是确定的，任何建图错误（例如，地图元素的移动或放置不正确）可能导致错误的下游行为。为此，本文提出揭示在线地图估计方法中的地图不确定性，并将其纳入下游模块中。具体来说，本文将地图不确定性纳入轨迹预测，并发现在结合了地图不确定性的 mapper-predictor 系统中（图1）与那些没有结合地图不确定性的系统相比，性能有显著提升。

图1. 从在线高精（HD）地图估计方法中产生不确定性，并将其纳入下游模块中，带来了多种好处。左图：真实的HD地图和代理位置。中图：使用MapTR[22]输出地图的HiVT[41]预测。右图：使用MapTR[22]输出的地图以及增加了点不确定性（由于左侧道路边界被停放的车辆遮挡，不确定性较大）的HiVT[41]预测。

图2. 许多在线高精矢量地图估计方法通过编码多摄像机图像，将它们转换到一个共同的鸟瞰图（BEV）特征空间，并回归地图元素的顶点来运作。本文的工作通过增加一个概率回归头来增强这种常见的输出结构，将每个地图顶点建模为拉普拉斯分布。为了评估由此产生的下游效应，本文进一步扩展了下游预测模型以编码地图不确定性，增强了基于图神经网络（GNN）和基于 Transformer 的地图编码器。

实验结果：

图3. 本文提出的不确定性表述能够捕捉由于自动驾驶车辆（AV）的摄像头与周围地图元素之间的遮挡而产生的不确定性。左图：前方和前右方摄像头的图像。右图：本文增强的在线高精地图模型生成的HD地图。椭圆表示分布的标准差。颜色代表道路边界、车道分隔线、人行横道和车道中心线。

图4. 在一个密集的停车场中，许多模型未能生成准确的地图。左图：后方和后左方摄像头的图像。右图：本文增强的在线高精地图模型生成的HD地图。椭圆展示了分布的标准差。颜色代表道路边界、车道分隔线、人行横道和车道中心线。

总结：

本文提出了一个通用的矢量化地图不确定性公式，并扩展了多种最新的在线地图估计方法，包括MapTR [22]、MapTRv2 [23]和StreamMapNet [38]，使它们能够额外输出不确定性。本文系统地分析了产生的不确定性，并发现本文的方法捕捉到了许多不确定性来源（遮挡、与摄像头的距离、一天中的时间和天气）。最后，本文将这些在线地图估计模型与最新的轨迹预测方法（DenseTNT [13]和HiVT [41]）结合起来，并展示了结合在线地图不确定性显著提高了预测模型的性能和训练特性，分别高达15%和50%。一个激动人心的未来研究方向是利用这些不确定性输出来衡量地图模型的校准度（类似于[16]）。然而，这一任务因需要进行模糊点集匹配而变得复杂，这本身就是一个具有挑战性的问题。

引用：

Gu X, Song G, Gilitschenski I, et al. Producing and Leveraging Online Map Uncertainty in Trajectory Prediction[J]. arXiv preprint arXiv:2403.16439, 2024.