Gaussian-LIC：首个多传感器融合3DGS-SLAM系统（浙大&TUM）

多传感器与3DGS的结合

“基于3D空间中的采样进行计算密集型SLAM任务所需的实时能力”的隐式表达法需要基于NeRF-based+SLAM方法。3DGS以其快速的渲染速度和优越的视觉质量而引人注目。作为一种明确且可以解释的表达法，3DGS使得场景编辑变得简单，有利于众多下游任务的执行。

现有的基于辐射场的SLAM系统，主要在光照良好的小规模室内环境中进行测试，并使用顺序RGB-D或RGB输入获得令人满意的结果。当这些方法扩展到具有挑战性的大规模不受控制的室外场景时将会遇到困难，例如具有挑战性的光照条件、杂乱的背景和高度动态的自身运动。

使用Gaussian-LIC+通过融合来自多个传感器的数据，包括3D激光雷达、IMU和相机（称为ALIC），在不受控制的室外场景中

• 首个基于激光雷达惯性相机融合的3DGS-SLAM系统，实现了高度精确的姿态跟踪和逼真的在线地图构建。
• 利用顺序着色激光雷达点云作为先验，以在线方式重建高斯地图。利用精心设计的一系列策略，逐步扩展高斯地图并自适应地控制其密度，以实现高效率和准确性。
• 在室内外场景中经过广泛验证，展示了在逼真地图制作方面的最新性能。在恶劣条件下表现出鲁棒性，包括高度动态运动、低照明和缺乏几何结构和视觉纹理。

具体方法

如图1所示是LIC-SLAM系统流程。

3DGS的表示

将场景表示为各向异性的3D高斯集合，每个高斯的方差：

将3D高斯投影到图像平面上，获得2D高斯分布：

投影获得的2D高斯通过不透明度加权方程影响像素：

渲染轮廓图像以确定像素是否包含了足够的来自高斯地图的信息：

LiDAR-IMU-Camera里程计

里程计采用了先前的工作Coco-LIC作为跟踪前端，一个连续时间紧密耦合的激光雷达惯性摄像头测距系统。通过集成三种互补的传感器，Gaussian-LIC实现了强大、实时和高精度的姿态估计，从而促进了整个SLAM系统的运行。

每当最新的 （本文中为0.1秒）内的激光雷达惯性摄像头数据被累积时，会基于因子图高效地优化该时间间隔内的轨迹：

• 激光雷达点云到地图
• 图像到地图的视觉因子
• IMU因子
• 偏差因子

在时间间隔内我们仅利用最新的图像进行优化。

Gaussian-LIC维护一个以0.1米分辨率存储在体素中的全局激光雷达地图。在优化当前时间间隔内的轨迹后，为了提高效率，仅将该时间段内四分之一的激光雷达点转换为世界坐标并附加到体素中，以确保每个体素中的激光雷达点之间的距离应大于0.05米，以减少冗余。对于成功附加的激光雷达点，将它们投影到最新的图像上，并通过查询像素值为其着色。随后，它们与估计的相机姿态的最新图像一起发送到映射线程，被视为一帧。

基于3DGS的逼真建图

随着持续输入：估计的相机姿态、无畸变图像、着色的激光雷达点，建图模块逐步构建和优化高斯地图，主要分4步：

1. 初始化：利用在第一个时间间隔内接收到的所有激光雷达点来创建新的高斯分布。为了减轻混叠伪影，我们为距离更近的高斯分布分配较小的尺度，而对于远离图像平面的高斯分布则分配较大的尺度：

2. 扩展：通常情况下，接收到的每帧画面都会捕捉到新观察区域的几何和外观。为了避免重复或极其相似的信息冗余，首先根据方程(6)从当前图像视图中渲染出一个轮廓图像，并生成一个掩码，以选择当前高斯地图中不可靠的像素，并倾向于观察新区域，只有能够投影到所选像素上的激光雷达点才会被利用：

3. 优化：使用所有接收到的图像进行优化对于我们的在线增量映射系统来说在计算上是不可行的，因此将每五帧图像视为一个关键帧。为了保持有界的计算复杂度以提高效率，我们选择  个活跃的关键帧来优化高斯地图，包括第一个和最后一个关键帧，以及其他随机选择的  个关键帧，避免了灾难性遗忘问题，并保持了全局地图的几何一致性。我们随机打乱所选的  个关键帧，并逐个迭代每个关键帧，通过最小化重新渲染损失来优化地图：

4. 自适应控制：激光雷达扫描可能无法覆盖整个场景，特别是在无边界的室外环境中。因此需要执行自适应控制以在单位体积内密集化高斯地图。原始策略在固定间隔处理具有较大梯度的高斯分布，而在增量模式下，由于它们通常尚未收敛，最近添加的高斯分布可能会由于具有较大梯度而被错误地克隆或分裂。解决方法是将现有的高斯分布分类为稳定和不稳定两类，并只对稳定的高斯分布进行密集化。

实验

总结和讨论

Gaussian-LIC 是一种新颖的LiDAR-惯性-相机辐射场SLAM系统，实现了高度准确的跟踪、具有3D高斯喷溅的逼真在线重建的双重功能。由高效的LiDAR-惯性-相机里程计产生的世界坐标中的着色LiDAR点被用作良好的先验，以辅助高斯地图的增量建立，在室内和室外场景中具有显著更好的泛化能力。

改进的空间：

• 尝试去除地图中非必要的高斯分布。
• 支持各种激光雷达，目前只尝试用固态激光雷达。
• 相机的自动曝光和运动模糊，影响逼真地图的视觉质量。