SupFusion：港中文最新用于3D检测的LV融合新SOTA！

哈喽！大家好，很高兴又见面了，我是golang学习网的一名作者，今天由我给大家带来一篇《SupFusion：港中文最新用于3D检测的LV融合新SOTA！》，本文主要会讲到等等知识点，希望大家一起学习进步，也欢迎大家关注、点赞、收藏、转发! 下面就一起来看看吧！

标题：SupFusion：基于监督学习的LiDAR-相机融合用于3D物体检测

论文链接：https://arxiv.org/pdf/2309.07084.pdf

香港中文大学 NIO 是作者的单位

代码链接：https://github.com/IranQin/SupFusion

会议：ICCV 2023

论文思路

近年来，许多融合LiDAR-Camera的三维检测方法出现，并且在实现自动驾驶方面扮演着关键角色。然而，这些方法虽然在性能上与单模态检测器相比有着前途，但却一直缺乏对融合过程的精心设计和有效的监督

本文提出了一种新的训练策略SupFusion，该策略为有效的LiDAR-Camera融合提供了辅助特征级监督，显著提高了检测性能。本文的策略涉及到一种称为极坐标采样(Polar Sampling)的数据增强方法，它对稀疏的目标进行加密，并训练一个辅助模型生成高质量的特征作为监督。然后利用这些特征训练LiDAR-Camera融合模型，对融合特征进行优化，以模拟生成的高质量特征。此外，本文提出了一种简单而有效的深度融合模块(deep fusion module)，与已有的基于SupFusion策略的融合方法相比，该模块具有连续的优越性能。这样看来，本文的提出的方法有以下优点。首先，SupFusion引入了辅助特征级监督，可以在不引入额外推理成本的情况下提高LiDAR-Camera的检测性能。其次，提出的深度融合可以不断提高检测器的能力。本文提出的SupFusion和deep fusion模块是即插即用的，本文进行了大量的实验来证明其有效性。具体来说，基于多个 LiDAR-Camera 3D 检测器，本文在 KITTI 基准上获得了约 2% 的 3D mAP 改进。

主要贡献

本文提出了一种名为 SupFusion 的新型监督融合训练策略，该策略主要由高质量特征生成过程组成，并据本文所知，首先提出辅助特征级监督损失，以实现鲁棒融合特征提取和准确的 3D 检测。

为了在SupFusion中获得高质量的特征，本研究提出了一种极坐标采样的数据增强方法，用于对稀疏目标进行加密。另外，本研究还提出了一种高效的深度融合模块，以提高连续检测的精度

在这篇文章中，我们进行了大量实验，使用了不同的融合策略来测试多个检测器。在KITTI基准上，我们成功提高了约2%的mAP

网络设计

本文介绍了一种名为SupFusion的有监督LiDAR-Camera融合方法，旨在生成高质量特征并为融合和特征提取过程提供有效的监督，从而进一步提高基于LiDAR-Camera融合的3D检测性能。具体而言，本文首先训练了一个辅助模型，以提供高质量的特征。为了实现这一目标，本文提出了一种新型的数据增强方法，称为极坐标采样。极坐标采样可以从稀疏的激光雷达数据中动态增强物体的密度，从而更容易检测并提高特征质量，例如准确的检测结果。然后，本文通过引入辅助特征级监督，简单地训练了基于LiDAR-Camera融合的检测器。在这一步骤中，原始的LiDAR和摄像机输入被输入到3D/2D主干和融合模块中，以获得融合特征。一方面，融合特征被输入到检测头进行最终预测，即决策级监督。另一方面，辅助监督将融合特征模拟为高质量特征，这些特征是通过预训练的辅助模型和增强的激光雷达数据获得的。通过这种方式，所提出的特征级监督可以使融合模块生成更鲁棒的特征，并进一步提高检测性能。为了更好地融合LiDAR和摄像机特征，本文提出了一种简单而有效的深度融合模块，该模块由堆叠的MLP块和动态融合块组成。SupFusion可以充分发挥深度融合模块的能力，不断提高检测精度

图2:检测器训练过程。对于给定的LiDAR-Camera样本，本文通过相应的3D/2D编码器提取特征表示，并使用提出的深度融合模块融合多模态特征。除了检测损失的  外，本文 提出辅助特征级监督 ，将融合的特征  模拟成高质量的特征 ，这是由辅助模型和增强数据生成的。

图3:高质量的特征生成过程。对于任意给定的LiDAR样本，本文通过 polar pasting 对稀疏目标进行加密，polar pasting计算从数据库中查询稠密目标的方向和旋转，并通过粘贴向稀疏目标添加额外的点。本文首先通过增强的数据训练辅助模型，并将增强的LiDAR数据输入辅助模型中，以生成高质量的特征  ，直到它被收敛。

图1:上图:之前的LiDAR-Camera 3D检测器，通过检测损失对融合模块进行优化。底部:本文提出的SupFusion，本文提出了通过一个辅助模型提供的高质量特征的辅助监督。

图4:Polar grouping主要是建立一个数据库，将每个组的密集目标存储在每个类的方向和旋转的极坐标系系统中。

实验结果

引用

Qin, Y., Wang, C., Kang, Z., Ma, N., Li, Z., & Zhang, R. (2023). SupFusion: Supervised LiDAR-Camera Fusion for 3D Object Detection. ArXiv. /abs/2309.07084

需要进行改写的内容是：原文链接：https://mp.weixin.qq.com/s/-pPUtrlfeo_09svMxk2qFA

终于介绍完啦！小伙伴们，这篇关于《SupFusion：港中文最新用于3D检测的LV融合新SOTA！》的介绍应该让你收获多多了吧！欢迎大家收藏或分享给更多需要学习的朋友吧~golang学习网公众号也会发布科技周边相关知识，快来关注吧！