信息技术的快速发展使得图像和视频成为重要的信息载体。深度图像在目标检测、三维重建等视觉方面的任务中扮演着极其重要的角色,而获取准确的深度图像一直是计算机视觉领域面临的一大难题。目前,TOF、Kinect等深度摄像机凭借其实时性与高精度的特点被广泛用于深度图像的获取。然而,由于自身成像条件的限制以及外界环境的干扰,这些仪器捕获的深度图分辨率较低,且易受噪声的干扰,无法与分辨率较高的彩色图进行匹配。目前,稀疏表示、深度学习等理论知识作为典型的基于学习的图像上采样方法,已成为图像处理领域的研究热点。基于学习的图像上采样利用大量的训练数据学习得到有用特征,通过构建字典、网络模型等建立低分辨率输入与高分辨率输出之间的非线性关系,实现对低分辨率图像重建的目的。基于学习的上采样算法在提高图像分辨率的基础上能够保持更多的图像细节信息。作为目前应用较成功的上采样算法之一,将基于学习的上采样方法应用于深度图像,面临着边缘信息不准确、噪声干扰等问题。另外,将这些重建出的深度图用于视点合成,获得的虚拟视点容易出现伪影和锯齿效应,导致合成效果不理想。本文针对这些问题,对基于学习的深度图像上采样算法展开了细致的研究,取得的主要成果有:(1)以稀疏表示理论为出发点,提出了一种改进的基于纹理边缘特征与稀疏表示的深度图上采样算法。在纹理边缘特征的辅助下,利用深度图像的梯度特征建立低分辨率深度图像与高分辨率输出之间的关系,同时对训练集合中的高分辨率深度图像和测试图像应用引导滤波。在保证边缘信息准确的同时,可以一定程度上消除噪声的干扰,上采样后的深度图像与合成视点均获得了理想的效果。(2)使用卷积神经网络作为模型,提出了一种基于联合边缘引导下卷积神经网络与虚拟视点合成的深度图上采样算法。该网络结合深度图与联合边缘特征作为双通道输入,并在网络的输出端利用纹理边缘构造局部增强约束条件进一步改善深度图的边缘信息,然后对增强后的深度图进行全局优化,最后提供高质量的深度图像作为输出。由于联合边缘特征的指导、局部增强条件的约束以及全局的优化,使得深度图像的上采样与视点合成更加有效。(3)帧间的相关性导致深度视频序列含有很多的冗余信息,如果对整个深度视频序列进行上采样,会带来很大的内存消耗与计算量的代价。因此提出了一种基于关键帧提取与特征强化CNN的深度视频序列上采样算法,利用运动向量提取出视频的关键帧部分,只对关键帧中的边缘块进行训练,而且引入特征增强层来强化特征学习,不仅解决了边缘区域上采样不准确的问题,且大大减少了计算量。