1.3 多源图像数据融合识别

证据融合方法和迁移学习方法被广泛应用于目标分类和识别中，旨在将来自不同信源的证据进行有效合并从而提高性能。在目标识别领域，可见光传感器、红外传感器和合成孔径雷达（Synthetic Aperture Radar，SAR）传感器常被用来采集目标信息。可见光传感器的成像分辨率高且具有较为清晰的细节信息，然而它容易受到光照变化和不利天气的影响，只有在白天才能有效工作。红外传感器不易受光照和天气等因素的干扰且成像距离远，可以全天候、全天时工作，但是它的成像分辨率低且缺乏一些细节信息。SAR传感器采用主动成像的方式，在夜晚和有云层遮盖的条件下仍可实现有效观测，但是它的成像会受到相干斑的影响，难以被人眼直接辨识与理解。由于可见光传感器、红外传感器及SAR传感器的成像特性不同，所以采集到的图像各具特点且具有互补性。因此，经常将可见光图像和红外图像、SAR图像进行融合，挖掘可见光图像中的互补信息，增强红外图像的细节信息或提高SAR的图像解译能力，以达到提高目标识别准确率的效果。多源传感器图像的融合可分为3种：第一种是像素级图像融合，即对两种图像直接进行融合处理，属于最低层次的融合，包含更大的信息量，但对设备的要求也相应较高；第二种是特征级图像融合，即对图像进行处理后将获得的特征信息进行融合，属于中间层次的融合，保留了充分的重要信息；第三种是决策级图像融合，即对图像的识别结果按照一定的准则进行融合，属于最高层次的融合。决策级图像融合不仅可以处理同类信息，还可以处理异类信息。

可见光图像与红外图像的成像机制存在较大的差异，红外传感器可以捕捉到物体发出的热辐射信息，进而生成红外图像，这种热辐射受弱光线或不利天气的影响较小，生成的红外图像显著，目标突出，但获取的图像空间分辨率较低且缺乏足够的纹理细节信息；可见光图像和人类的视觉系统更加一致，可以提供具有较高的空间分辨率和清晰的纹理细节的图像，然而可见光成像易受到光照和天气等环境因素的干扰。表1-2列出了可见光成像与红外成像在不同方面的对比。

表1-2 可见光成像与红外成像对比

在可见光图像和红外图像的融合识别中，基于深度学习的方法显现出了巨大的潜力。由于卷积神经网络（Convolutional Neural Network，CNN）具有强大的自主学习能力，能够充分提取图像结构特征并利用源图像的深层特征来自适应融合图像，因此被广泛应用在可见光图像和红外图像的融合中。Guo等针对不同光照下的可见光图像和红外图像，设计了一种几乎没有信息损失的自适应分数融合策略和最近邻算法来进行最终分类。Dai等提出了一种跨模态生成对抗网络来利用可见光图像与红外图像进行行人重识别。在遥感目标识别中，可见光图像和红外图像也是重要的信息源。Zhong等提出了一种基于可见光图像和热红外高光谱图像融合的空间光谱发射率土地覆盖物分类方法。Lu等提出了一种基于决策级的协同分类方法来对长波红外图像和高分辨率可见光图像进行土地覆盖分类。在海洋船舶识别中，Zhang等在世界上首次发布了成对的可见光图像和红外船舶图像数据集，利用加权平均融合方法提高了船舶的识别精度。Stanos等提出了一种多传感器数据融合方法，利用长波红外图像和可见光图像进行海洋船舶的识别。Qiu等将多光谱船舶识别任务建模为一个卷积特征融合问题，并提出了一种混合特征融合结构。Ren等提出了一种基于注意机制和多尺度CNN的可见光图像和红外图像船舶分类方法。在场景识别中，Brown等分享了RGB-NIR场景数据集，并提出了一种多光谱尺度不变特征转换（Scale Invariant Feature Transform，SIFT）算子，可有效使用多个光谱带中的信息。Salamati等研究了红外图像和可见光图像中哪些描述符是相关的，以及如何最好地组合它们。Xiao等提出了一个可视化的描述符，可以显式地从多通道图像中获得互补信息。Peng等将先验知识引入深度结构并利用知识蒸馏引导可见光图像和红外图像的特征融合。

因此，可见光图像和红外图像之间具有较好的互补性，将两者进行融合可以充分利用红外图像中的热辐射信息和可见光图像中的详细纹理信息的优点，使目标识别的结果更加鲁棒和精确。

可见光图像与SAR图像的成像机制存在较大的差异。SAR成像可以有效地实现全天时、全天候的目标实时监测，并且由于成像模式的特殊性和多样性，使所采集的图像具有多种特性。但是SAR图像会受相干斑的影响，使其难以被人眼直接辨识与理解。而光学图像是由多个高频分量组成的反射图像，具有较高的空间分辨率，在光照良好的情况下，可以清楚地反映目标的边缘细节和纹理信息，但是在恶劣的天气条件下，图像的对比度低且成像质量差。表1-3列出了可见光成像与SAR成像在不同方面的对比。

表1-3 可见光成像与SAR成像对比

在可见光图像和SAR图像的融合识别中，基于模型的方法（如基于压缩感知的方法、基于深度学习的方法）得到了广泛的关注。Shen等提出了一个综合框架，可实现多源遥感图像的时空谱融合。Liu等提出了一种联合IHS转换和非负稀疏表示的光学及SAR图像融合方法。Gaetano等利用光学图像来降低SAR图像中的斑点噪声并用于地物分类。Li等提出了一种基于HSV（Hue-Saturation-Value）的融合方法，并取得了较好的视觉效果。Grohnfeldt等使用条件生成对抗网络，通过融合SAR图像和光学图像来去除后者中的云层遮挡。Sportouche等提出了一种半自动的建筑物三维重建方法，通过分别从SAR图像和光学图像中推断出有关建筑物的高度与形状信息，估计出建筑物的三维结构。Wegner等通过综合利用高分辨的光学图像和SAR图像中的特征来估计平顶建筑的高度。Luo等通过从极化SAR图像中提取出13种特征，并与光学图像中3个通道的颜色特征拼接起来，共同完成地物分类任务。Liu等利用深度卷积网络将光学图像和SAR图像转换到同一特征空间来完成变化检测。Mou等提出了一种用于辨别SAR图像和光学图像对的双路CNN网络，该网络可自动完成对异源图像之间信息的比对。Xu等提出了一种双路CNN网络，分别从配对的异源图像中提取特征并将其拼接在一起用于后续的任务。Fan等设计了一种基于均匀非线性扩散的Harris特征提取方法，能够从光学图像和SAR图像中发掘更多可能被正确匹配的特征点。Huang等采用域自适应的方法，通过将源域数据和目标域数据映射到一个共同的特征空间来完成融合（知识迁移），并在SAR舰船识别任务中比较了不同的网络架构、不同类型的遥感图像数据及不同相似度的任务之间知识迁移的效果。

因此，可见光图像和SAR图像之间具有比较好的互补性，将两者进行融合处理，可以充分挖掘光学图像中的互补知识，并且提升SAR图像的解译能力，从而使目标识别的结果更加准确。