【摘 要】
:
随着人们对虚拟现实(Virtual Reality,VR)的兴趣与日俱增,各种商业化的虚拟现实产品在市场中所占的比重越来越大,全景视频作为当前VR的主要内容源而备受关注。对比普通视频而言,全景视频具有高分辨、多视角、存储数据量大的特点。为了适应视频的传输,利用经典的编码标准对全景视频进行压缩时,我们通常会牺牲它的质量来节省码率,而低质量的全景视频严重影响了用户沉浸式的体验。因此,本文提出将卷积神经
论文部分内容阅读
随着人们对虚拟现实(Virtual Reality,VR)的兴趣与日俱增,各种商业化的虚拟现实产品在市场中所占的比重越来越大,全景视频作为当前VR的主要内容源而备受关注。对比普通视频而言,全景视频具有高分辨、多视角、存储数据量大的特点。为了适应视频的传输,利用经典的编码标准对全景视频进行压缩时,我们通常会牺牲它的质量来节省码率,而低质量的全景视频严重影响了用户沉浸式的体验。因此,本文提出将卷积神经网络应用到全景视频压缩及后处理的工作中,以有效提高全景视频的质量。本文主要完成了以下三个工作。(1)全景视频的质量对于用户的观看体验至关重要,尤其是由某个区域的全景视频映射成的当前视口的视频。因此,本文基于卷积神经网络中的生成对抗网络提出了 Panorama-GAN网络,其中生成模型使用U-NET网络,损失函数通过VGG19计算特征差异而形成。然后本文利用此网络分别对压缩后的全景视频以及具有不同映射关系的当前视口的视频训练生成模型,以提高全景视频的质量。最后通过实验证明了网络对当前视口视频质量的提升具有更出色的表现。(2)改善低质量帧可参考与其相似的高质量帧。因此,本文考虑到全景视频的帧与帧之间具有很大相似性的特点,进一步提出不平等编码方案,将立方体投影的全景视频编码成高、低质量两个版本的视频。接下来在传输过程中,以一个视频组(Group of Pictures,GOP)为单位交叉传输视频,最后利用一个四层卷积神经网络,将低质量帧和相邻高质量帧的特征提取并结合,经过特征增强、映射和图像重建低质量视频帧,实验证明我们的方案提高了整个全景视频的质量。(3)由于通常采用基于视口方案传输全景视频,即传输当前视口的高质量视频流和其它视口的低质量视频流。因此,用户转头时,网络延迟会造成转头画面不清晰的现象。本文在基于兼容HEVC的Tile压缩全景视频解决方案的基础上,提出二次压缩方案:在服务器端,低质量视频由高质量视频再一次压缩形成,或者进行下采样后再压缩形成;客户端收到全景视频后,压缩当前视口高质量视频并送入卷积神经网络训练,最后用生成的模型提升其它视口低质量的视频。实验结果证明了方案的有效性,并且下采样方案在低码率传输中显示出了更好的性能。
其他文献
目的探讨中老年2型糖尿病患者骨标志物和骨密度随年龄及性别的变化及相互关系。方法采用Roche E170全自动电化学发光免疫分析仪检测患者的骨钙素(OC)、总I型前胶原氨基端肽(t
国标碱式消解法(《危险废物鉴别标准》(GB 5085.3-2007))是用于从土壤、淤泥、沉积物等固体废弃物中提取可溶性、吸附和沉淀形式的铬化合物的方法,常用于检测修复后的含铬土
针对寒冷地区公路沥青路面设计中应重点考虑的问题,以我国《公路沥青路面设计规范》(JTG D50-2006)和弹性多层体系理论为基础,建立了系统、简便的寒冷地区公路沥青路面厚度计
<正>变应性鼻炎(allergic rhinitis,AR)是一个全球性的健康问题,其发病率呈不断上升趋势[1]。目前惟一能影响其自然病程,理论上能达到根治的方法仍为特异性免疫治疗(specific
<正>乳腺癌目前已跃升为女性最常见的恶性肿瘤,全球每年乳腺癌发病率近1400万人次,死亡人数高达45.9万[1-2]。2008年中国女性乳腺癌新发病例数占所有恶性肿瘤的14.2%,约为16.
目的探讨希恩综合征患者受孕致双胎之一完全性葡萄胎的可能性及其发病机制。方法对1例希恩综合征患者经诱导排卵受孕致双胎之一完全性葡萄胎的临床资料进行回归性分析,并复习
将20头9月龄左右猪瘟、伪狂犬、猪繁殖与呼吸障碍综合征抗原、抗体阴性猪分成6组,分别利用猪细小病毒(PPV)、猪伪狂犬病毒(PRV)和猪繁殖与呼吸障碍综合征病毒(PRRSV)单独或混
目的测定出本实验室微波消解原子荧光法测定食品中砷的检出限。方法按照IUPAC的方法 ,对20个消化空白的进行测定,计算出检出限。结果本实验室食品中砷测定方法的检出限为0.01
在常规饲养条件下,对健康猪按2.5mg/kg体重的剂量肌肉注射2.5%恩诺沙星注射液,每日2次,连续注射3d。停药后第2、4、6、8、10、12、14天分别屠宰4头猪。分别采取每头猪的肌肉(
三组猪分别按2.5 mg/kg的剂量肌肉注射拜有利5%、恩诺沙星注射液A、恩诺沙星注射液B三种药物,HPLC法测定血药浓度,Winnonlin6.1软件拟合血药浓度—时间数据,计算参数。三种注