论文部分内容阅读
目前网络视频流面临的重要问题是:1)网络提供的部分视频资源与用户设备所支持的视频格式不匹配;2)不同的用户有不同的网络状况和计算能力,对视频分辨率的要求不一样。为了解决这类问题,需要研究多媒体数据在不同的接入设备之间、异构网络之间及不同数据压缩格式之间的无缝连接技术,视频转码技术正是能够实现这种无缝连接的一种技术。由于视频转码是计算密集型的任务,且随着转码需求的不断增加,传统的视频转码系统已经不能应付高并发的转码任务量。 针对传统视频转码方案的不足,本文在普通分布式转码系统的基础上,将视频存储与转码结合,有针对性地从几个方面深入研究基于Hadoop的视频转码系统,并对系统性能作出改进。具体研究工作主要包括以下几个方面: (1)研究了一种基于Hadoop的视频转码系统。该转码系统使用Hadoop的两大核心组件:HDFS和MapReduce,以及开源软件mkvtoolinix和ffmpeg。转码前,在Namenode节点使用mkvtoolinix对视频进行切块,然后将视频块分发到各计算节点上;在每个工作节点上,使用ffmpeg对视频进行转码;转码结束后,将视频块合并成一个完整的文件,并上传到HDFS上。实验结果表明,本系统对大数据块转码的加速效果更明显,转码速度不仅跟视频本身的格式有关,而且跟视频切片大小有密切的联系。 (2)提出了一种基于Hadoop视频转码的任务调度算法Min-MM。该算法首先针对各个DataNode处理能力不一致的问题进行数学建模,利用佩奇排名算法评估机器转码性能,输入视频被分成大小不同的段,依据其复杂度和机器的转码能力进行映射。处理能力强的节点将分配到更多的视频块,最终所有计算节点的完成时间得到均衡化。实验结果表明,该算法能够显著提升视频转码效率,在很大程度上改善了云转码系统。 (3)提出了一种基于Hadoop视频转码的缓存策略。该策略采用云存储空间缓存视频,根据视频资源的流行度、请求间隔、视频大小和未来被访问概率计算视频的效能函数值,缓存空间不足时替换出效能值小的视频块。实验结果表明,与传统置换算法LRU、LFU和FIFO相比,该策略的资源请求命中率分别提高了2.6%,4.3%和9.2%,并在一定程度上缩短了视频分发延迟,减少了用户响应时间。 最后对全文进行总结,并根据现阶段的工作对下一步的研究做出展望。