本文是一篇博士论文，本文针对深度学习技术在融合任务中存在多源特征的干扰和丢失、单一特征流向、融合方式单一等问题，分别从分支特征保真方案，分支特征之间的交互方式以及分支合作机制三个角度开展工作，使多源信息的特征在融合过程中得到保护并产生交互与合作，改善方法的保真性能。

1   绪论

1.1  研究背景及意义

2024年7月，中国共产党第二十届三中全会胜利召开，会议审议通过《中共中央关于进一步全面深化改革，推进中国式现代化的决定》[1]。会议文件强调，政府和相关单位要优化土地管理，健全同宏观政策和区域发展高效衔接的土地管理制度，优先保障主导产业、重大项目合理用地，使优势地区有更大发展空间。决定文件的相关内容条款与国土资源管理方法息息相关，同时也对国土资源管理研判使用的数据和观测技术提出更高的要求。遥感技术作为国土资源监测的重要手段和关键的数据来源之一，已经在国土资源管理的众多政府部门和单位得到应用和推广。早在2020年3月，中华人民共和国国土资源部协光明网发布《放权不放松! 自然资源部建立卫星遥感监测体系严控用地审批》[2]一文。根据文章显示，自然资源部已经初步建立卫星遥感监测体系，通过数颗人造卫星遥感观测土地的覆盖和变化情况，用于监测和评估各省 (区、市) 开展的土地管理水平。2024年7月31日，国家林业和草原局发布《陆地生态系统碳监测卫星开启林草遥感监测新篇章》[3]，文章反映使用的监测卫星配合遥感技术在生态环境、自然资源、气象、农业农村、应急管理等5个主要用户技术单位发挥了重要作用，为实现“碳达峰、碳中和”目标和应对全球气候变化提供重要的数据支撑。通过上述文件可以看出，遥感技术作为重要的观测手段，为国土资源管理等领域的实际应用在数据层面提供判别和分析依据，得到使用者充分的肯定和进一步发展的需求。

遥感 (Remote Sensing，RS) 指非接触，远距离的探测技术[4]。这项技术多应用在较观测表面远距离的探测器，如卫星、航拍气球和无人机等。探测器通过传感器对观测物体发出特定波谱的辐射、反射特性进行探测。在传感器中，多光谱 (Multispectral，MS) 传感镜头由于覆盖常见的可见光，且能分辨特定的光谱波段，拍摄内容直观且易于理解，被广泛应用于遥感观测卫星[5]。然而，受到物理性能和目前科技条件的制约，MS传感器的拍摄图像在空间分辨率表现不佳。为弥补这一缺陷，卫星通常携带全色 (Panchromatic，PAN) 传感器拍摄记录具有更高空间分辨率的图像[6]。由于PAN图像的光谱信息单一，MS图像的空间分辨率较差，使用者需要同时参照两幅图像才能在土地资源管理等实际应用环节做出精确的决策[7]。同时，由于PAN图像和MS图像在尺度和分辨率均不一致，同一目标的空间和光谱特征很难被人工对应，容易在视觉上发生错位和偏移，造成使用者决策的误判。此外，不同的传感器图像需要对应当时的时空位置进行分别存储，造成数据的冗余堆积[8]，给管理带来巨大不便。

1.2  国内外研究现状

从上节内容可以得出，高空间和高光谱分辨率的遥感图像在应用和数据分析研究都呈现出重要的作用。然而，由于物理性能的制约，HRMS图像无法被直接获取。因此，借助于不同传感器拍摄的遥感图像并融合得到HRMS图像，在国内外成为一个热门的研究话题。

目前关于多源遥感图像的融合方法有多种分类方式[15]。如根据融合计算方法、数据样本规模以及融合特征精度等方式进行分类。由于遥感图像的融合方法类别较多，为更细致的阐述现有的融合方法，本文将多源遥感图像的不同融合计算方法作为主要划分依据，对国内外遥感图像融合现状和研究方法进行分类并综述。

首先，本文将遥感图像融合研究按大类分为基于符号计算的传统遥感图像融合方法和基于深度学习的遥感图像融合方法[16]。其中，基于符号计算的遥感图像融合方法主要通过归纳和分析等方法获取遥感图像融合的领域知识，并依照获取的知识设置融合计算模型。而基于深度学习的遥感图像融合方法一般依照遥感图像融合领域知识建立端到端的融合模型，学习源图像与期望图像之间的非线性映射关系。在此小节，本文将综述每类遥感图像融合方法研究进展，总结它们的优势与缺陷，在每个大类下对遥感图像融合方法进行进一步的细分并详细描述。

2   基础知识

2.1  多源遥感图像融合数据集

2.1.1  多源遥感数据来源

由于空间观测的重要性和战略地位，国内外对卫星技术和遥感监测技术高度重视，已有众多卫星成功发射，并获取大量丰富的遥感图像数据。表 2.1 列出目前国际上主要的卫星数据集[93]，详细展示国际主流卫星的名称、传感器参数及光谱波段等相关信息。

2.2  基础技术

2.2.1  编码器-解码器结构

在图像恢复、分割和重建等视觉领域中，基于深度学习的编解码结构已成为一种广泛应用的模型。此类结构通过对特征的编码和解码过程来完成特定任务。由于编解码结构设计简洁、易于实现，并且在众多计算机视觉任务中表现出色，已成为常见的深度学习网络架构。在此类结构中，基础层作为编解码的主要单元用于提取和传递特征并对这些特征进行后续的重建。在最初的编解码类模型设计中，基础层通常由具有不同参数的卷积核构成。然而，随着深度学习的发展，早期方法暴露出诸如梯度爆炸和梯度消失等问题，影响模型的训练效果[102]。为提升模型的拟合能力和泛化性能，越来越多新型结构卷积层的设计被引入，并逐渐替代传统的结构方案。这些新设计通过改进模型的表征能力，使得深度学习模型在复杂的视觉任务中能够表现得更加稳定和高效。

在该领域的研究中，U型网络 (U-shaped Network, U-Net) 已成为广泛使用的基准网络[103]。它通过上下采样的方式，将特征分解为高级语义特征和低级纹理特征，并在解码阶段通过跳跃连接对应尺度的特征进行有效补充。这种跳跃连接机制有效增强了特征信息的传递，显著减少由于网络深度增加而可能导致的信息损失问题。

在后续的研究中，U-Net 的基础层设计也不断得到改进。例如，研究人员引入残差块、多层 CNN 结构以及 Transformer 等新兴架构来替代传统的特征提取层[104]。这些改进不仅增强了模型的特征提取能力，还进一步提升网络在复杂任务中的表现，使网络在计算机视觉任务中取得更优异的结果。

在本文中，编解码结构将作为网络的基础设计思路，用于实现对不同源特征的编码和解码。此外，本文通过分析多源特征之间的一致和差异关系，设计一种多分支的多端编解码结构，以实现不同的分支任务共同合作恢复HRMS图像，使多源信息在特征融合和恢复过程中能够相互补充和合作，改善融合结果在空间和光谱信息的保真度。

3 基于掩码保真策略的多分支遥感图像融合模型 .......................... 29

3.1  引言 .............................................. 29

3.2  模型设计 ............................. 30

4 基于分支特征交互的遥感图像融合模型 ......................... 52

4.1  引言 ............................ 52

4.2  模型设计 .......................... 53

5 基于分支引导与合作的遥感图像扩散融合模型 ........................ 72

5.1  引言 .......................................... 72

5.2  模型设计 ................................... 73 

6   本文提出方法之间的对比

6.1  本文提出方法之间的关系

本研究面向遥感图像融合任务，环绕如何利用多分支结构提升融合结果光谱和空间信息的高保真度这一研究内容进行展开。本文从分支特征保护方案，分支特征的交互设计以及分支间的合作策略三个角度，分别提出三个方法。本文提出的三个方法之间存在一定的互补性和递进性。第一个工作，即基于掩码保真策略的多分支遥感图像融合模型提出分支特征保护策略和分支验证方式，启发后续工作的多分支结构设计思路。随后，第二个工作改善了多级分支特征间的交互方式，为第三个工作在分支的合作融合保真方案提供理论支持。第三个工作将前两个工作的核心思想进行改善并吸收到多分支网络中，实现分支信息的合作与引导。三个工作的具体关系如图6.1所示。

7  总结与展望

7.1  论文总结

MS遥感图像凭借优秀的光谱分辨能力，被广泛应用于土地分类、农田监测、道路分析等国土资源管理领域。多源遥感图像融合使融合结果兼具高空间和光谱分辨率，具备较高的管理应用和经济价值。本文针对深度学习技术在融合任务中存在多源特征的干扰和丢失、单一特征流向、融合方式单一等问题，分别从分支特征保真方案，分支特征之间的交互方式以及分支合作机制三个角度开展工作，使多源信息的特征在融合过程中得到保护并产生交互与合作，改善方法的保真性能。具体的，本文的主要贡献如下：

(1) 多源信息掩码保真策略和保真分支结构

尽管深层的深度学习网络有助于提高模型的拟合性能，但在特征的提取过程中，不同源图像的空间和光谱信息可能会在融合过程中被丢失或破坏。针对此类问题，第三章工作设计一个掩码保真策略，用于保护多源特征在融合前后的过程中不被破坏。随后，基于定义的掩码保真策略该工作建立了多源信息保真分支，并利用权重共享的方式改善融合输出结果的保真性能。在三个卫星数据集下的实验证明多源信息掩码保真策略和本章多分支融合模型的有效性。

(2) 多源信息的多级特征交互机制

为促进多源信息分解得到的多级特征之间的交互性，并实现分支特征之间在不同感知距离下的信息互补，第四章工作提出一个基于分支特征交互机制的遥感图像融合模型。该模型利用Transformer作为编码端提取源图像的长距离空间和光谱特征，并设计CNN结构作为解码端改善模型的特征提取细粒度。在网络中，模型通过构建的多级特征交互机制，补充多源信息之间的特征，融合不同级别分支下特征的语义和边缘信息。此外，通过分析不同模态图像之间的转换关系，该工作构建了通道损失函数实现输出图像的验证。最后，在主观和客观实验上验证了分支特征交互机制和提出融合模型的有效性。

参考文献（略）