多模态图像融合是将不同成像传感器关于同一场景所采集的图像数据进行融合,获得高质量的图像,以方便人类的观察和计算机的进一步处理。目前,该技术已经广泛应用于军事侦查、卫星遥感、医学临床以及数码成像等领域,具有十分重要的实际意义。最具代表性的图像融合算法是基于图像分解和基于机器学习的方法。一方面,图像分解可以提取空域中的不可见信息,具有一定深度特性,在图像融合问题中取得了很突出的成绩。另一方面,稀疏表示作为机器学习的重要工具,其稀疏性在图像特征表达方面具有较强的能力,因此在多模态图像融合方面也取得了很大的进展。尽管现有相关方法实现了很好的融合性能,但仍存在一些挑战。本文展示了如下工作:1.针对传统基于保边滤波分解框架中关于显式核函数导致的邻域定义难的问题,提出了基于相关性概率统计保边滤波器的多模态图像融合算法。考虑像素间的中间信息,从概率的角度来估算权值,消除邻域定义难的问题。另外,在设计融合规则时,考虑人类的视觉感知,分别设计了基于权图谱和最小二乘的融合规则。2.针对传统基于保边滤波分解框架中关于由数据级敏感参数导致的数据表达能力差的缺陷,提出了一种基于双调性保边滤波分解和稀疏学习的多模态图像融合算法。本方法考虑利用数据集敏感参数趋零的双调性滤波器来构建分解结构,可局部适应图像中的信号与噪声。考虑图像背后的信息,利用稀疏表示的方法来设计融合规则。3.针对传统基于稀疏表示融合方法中关于块编码导致的图像局部信息失真的问题,考虑利用卷积稀疏表示学习的方法来对全图模式进行编码,以此替代传统的块编码方式。并利用掩膜算子来改善卷积稀疏模型的性能,并用作融合规则设计。另外,针对现有基于尺度分解的融合方法所面临的分解层数选择困难等问题,提出估计分解层数的两尺度梯度分解模型。4.针对大部分基于图像分解的多模态图像融合算法中关于仅关注单个特征类而忽视了其它互补的特征信息的缺陷,我们首次将泰勒展开理论引入图像分解中,提出了基于泰勒展开的图像本征元素提取方法,将原始图像分解为一个偏差元素和多个能量元素。此分解方法关注的是图像的全局特性,而不是单个特征类,从而可减少信息丢失。考虑利用梯度特性来改善卷积稀疏表示模型的噪声抑制能力,并用于融合规则设计。5.在三维光谱数据（即高光谱和多光谱图像）融合问题中,针对传统基于稀疏表示的算法中关于光谱带之间相关性信息描述难等问题,提出了面向高光谱和多光谱图像的基于联合稀疏-协同表示学习的融合方法,充分考虑光谱数据内的稀疏性和光谱带间相关性,以此来改善传统基于表示学习方法的性能。