论文部分内容阅读
随着多媒体和互联网技术的高速发展,人们已经步入了大数据时代。图像和视频作为主要的信息载体,相关的研究技术也在不断发展。近几年,深度学习算法在计算机视觉高层领域已经取得了突破性的成果,在像素级别的低层视觉领域也表现出了巨大的潜力。然而,在实际应用中,网络异构性、网络堵塞等都容易导致数据包丢失、传输延迟等问题。因此,研究有限带宽中信息的高效可靠传输技术是图像和视频编码领域的重点。多描述编码(Multiple Description Coding,MDC)作为一种有效的抗误码传输技术,受到了广泛学者的关注。为了兼容标准编解码器的同时,提升多描述编码的重建质量,本文将传统的基于亚采样的多描述编码算法与深度学习算法相结合,在图像编码方面,提出了多描述图像编码重建网络;在视频编码方面,提出了基于视频插帧和质量增强的多描述视频编码方案,提升了单路和中心路重建质量。完成的工作主要包括:(1)提出了兼容标准的多描述图像编码重建网络。本方案在基于亚采样的多描述图像编码算法解码端,设计了基于卷积神经网络的端到端的重建网络,包括两个单路重建和一个中心路重建子网络,分别用于提升单路和中心路的重建质量。实验结果表明该方案改进了率失真性能,尤其在比特率较低的情况下效果更明显。(2)提出了基于光流引导的多尺度密集连接网络的视频插帧算法,用于提升多描述视频编码的单路重建质量。本方案首先利用光流估计网络获得初始插帧结果,然后应用所提出的帧插值网络提高插帧质量。对于网络结构设计,本方案采用多尺度密集连接的结构,不仅加快了网络参数的梯度反向传播,而且利用多尺度信息提升了较大运动场景中的视频插帧效果。通过与其它基于光流以及基于卷积神经网络的插帧算法对比,所提出方案的插帧结果在主客观质量上均有所提升。(3)提出了视频插帧和帧循环质量增强结合的多描述视频编码算法。在传统的基于时域亚采样的多描述视频编码中,单路重建的损失来源于压缩失真和部分帧丢失,而中心路重建的损失主要来源于视频帧压缩。因此,该方案结合基于深度学习的视频插帧和视频质量增强算法用于提升单路重建质量,同时将质量增强算法用于提升中心路重建结果。其中,所提出的质量增强算法采用了帧循环处理的结构,保证了时域信息的传递,减少了计算量。实验结果验证了整体方案的有效性。