CVPR 2024 | 基于MoE的通用图像融合模型，添加2.8%参数完成多项任务

一分耕耘，一分收获！既然都打开这篇《CVPR 2024 | 基于MoE的通用图像融合模型，添加2.8%参数完成多项任务》，就坚持看下去，学下去吧！本文主要会给大家讲到等等知识点，如果大家对本文有好的建议或者看到有不足之处，非常欢迎大家积极提出！在后续文章我会继续更新科技周边相关的内容，希望对大家都有所帮助！

AIxiv专栏是本站发布学术、技术内容的栏目。过去数年，本站AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com。

• 论文链接：https://arxiv.org/abs/2403.12494
• 代码链接：https://github.com/YangSun22/TC-MoA
• 论文题目：Task-Customized Mixture of Adapters for General Image Fusion

• 我们提出了一个统一的通用图像融合模型，提供了一种新的任务定制混合适配器（TC-MoA）用于自适应多源图像融合（受益于动态聚合各自模式的有效信息）。
• 我们为适配器提出了一种互信息正则化方法，这使得我们的模型能够更准确地识别不同源图像的主导强度。
• 据我们所知，我们首次提出了一种基于 MoE 的灵活适配器。通过只添加 2.8% 的可学习参数，我们的模型可以处理许多融合任务。大量的实验证明了我们的竞争方法的优势，同时显示了显著的可控性和泛化性。

如图 2 所示，给定一对源图像，网络整合来自不同源的互补信息，获得融合图像。我们将源图像输入 ViT 网络，并通过 patch 编码层获得源图像的 Token。ViT 由一个用于特征提取的编码器和一个用于图像重建的解码器组成，这两者都是由 Transformer 块组成的。

在编码器和解码器中，每个 Transformer 块插入一个 TC-MoA。网络通过这些 TC-MoA 逐步调制融合的结果。每个 TC-MoA 由一个特定于任务的路由器银行，一个任务共享适配器银行和一个提示融合层F组成。TC-MoA 包括两个主要阶段：提示生成和提示驱动的融合。为了便于表达，我们以 VIF 为例，假设输入来自 VIF 数据集，并使用G来表示。

提示生成。首先，获得后续处理的多源特征。将第 j 个 TC-MoA 之前的网络结构定义为，并提取提示生成特征定义为。我们将作为多源 Token 对的特征表示拼接起来。这允许来自不同来源的 Token 在后续的网络中交换信息。然而，直接计算高维的拼接特征会带来大量不必要的参数。因此，我们使用进行特征降维，得到处理后的多源特征，如下：

提示驱动的融合。任务定制的提示受到互信息正则化（MIR）的约束，这保证了对不同源的互补性。因此，提示可以作为对每个来源中重要信息的比例的估计。通过多源特征和提示的点乘，我们在去除冗余信息的同时保留了互补信息。然后，考虑到特征表示应该包含源相关的偏置（如可见或红外图像），我们为每个源引入输入无关的可学习参数，即源编码 s。特征在经过提示修饰和源偏置，我们得到细化的源特征，然后经过融合层 F 获得融合特征，过程如下：

最终，我们通过任务定制的提示获得了一个融合特征。为了鼓励模型逐步地提取重要信息，我们对输出到下一个 Transformer 块的特征定义如下（是一个超参数）：

以上就是《CVPR 2024 | 基于MoE的通用图像融合模型，添加2.8%参数完成多项任务》的详细内容，更多关于工程,图像融合的资料请关注golang学习网公众号！