基于Hadoop视频转码系统的研究与改进

来源 :南京工业大学 | 被引量 : 0次 | 上传用户:cnanjr
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
目前网络视频流面临的重要问题是:1)网络提供的部分视频资源与用户设备所支持的视频格式不匹配;2)不同的用户有不同的网络状况和计算能力,对视频分辨率的要求不一样。为了解决这类问题,需要研究多媒体数据在不同的接入设备之间、异构网络之间及不同数据压缩格式之间的无缝连接技术,视频转码技术正是能够实现这种无缝连接的一种技术。由于视频转码是计算密集型的任务,且随着转码需求的不断增加,传统的视频转码系统已经不能应付高并发的转码任务量。  针对传统视频转码方案的不足,本文在普通分布式转码系统的基础上,将视频存储与转码结合,有针对性地从几个方面深入研究基于Hadoop的视频转码系统,并对系统性能作出改进。具体研究工作主要包括以下几个方面:  (1)研究了一种基于Hadoop的视频转码系统。该转码系统使用Hadoop的两大核心组件:HDFS和MapReduce,以及开源软件mkvtoolinix和ffmpeg。转码前,在Namenode节点使用mkvtoolinix对视频进行切块,然后将视频块分发到各计算节点上;在每个工作节点上,使用ffmpeg对视频进行转码;转码结束后,将视频块合并成一个完整的文件,并上传到HDFS上。实验结果表明,本系统对大数据块转码的加速效果更明显,转码速度不仅跟视频本身的格式有关,而且跟视频切片大小有密切的联系。  (2)提出了一种基于Hadoop视频转码的任务调度算法Min-MM。该算法首先针对各个DataNode处理能力不一致的问题进行数学建模,利用佩奇排名算法评估机器转码性能,输入视频被分成大小不同的段,依据其复杂度和机器的转码能力进行映射。处理能力强的节点将分配到更多的视频块,最终所有计算节点的完成时间得到均衡化。实验结果表明,该算法能够显著提升视频转码效率,在很大程度上改善了云转码系统。  (3)提出了一种基于Hadoop视频转码的缓存策略。该策略采用云存储空间缓存视频,根据视频资源的流行度、请求间隔、视频大小和未来被访问概率计算视频的效能函数值,缓存空间不足时替换出效能值小的视频块。实验结果表明,与传统置换算法LRU、LFU和FIFO相比,该策略的资源请求命中率分别提高了2.6%,4.3%和9.2%,并在一定程度上缩短了视频分发延迟,减少了用户响应时间。  最后对全文进行总结,并根据现阶段的工作对下一步的研究做出展望。
其他文献
本课题致力于解决基于二维图像的三维物体重建问题。理论上说,由于二维图像中存在多物体相互遮挡、单个物体前面对背面的遮挡,以及无从判断空间深度等不利条件,想要依靠单张彩色
跳频通信在军事通信和民用通信领域都得到广泛的应用,但是随着军事通信中电子对抗和反对抗技术的发展,跳频通信数据链生存的电磁环境越来越复杂,它不仅受到自然的干扰,而且受
论文主要研究了宽带IP视频组播通信系统的设计和实现及其在数字视频监控领域的应用.论文中针对基于宽带IP的多媒体通信的需求,对视频编码、视频通信技术、组播通信原理与技术
该文包括三大部分.第一部分首先讲述了虚拟现实技术发展历史、基本概念以及基于IBR的虚拟现实技术的基本特征和应用领域分析,然后在第二部分中给出了基于静态图像绘制的虚拟
南方鲇(SilurusmeridionalisChen)生活在浑浊的水环境中,味觉感觉在摄食中起了关键的作用,味觉系统比较发达。鱼类的味觉是通过面神经、舌咽神经和迷走神经进行传导的。面神经
该文提出了一种新协议MSADQ/CDMA.文中设计了该协议的信道结构,提出了扩频码字分配规则,及语音、数据业务的传输规则来实现对语音业务的优先保证和对数据业务的快速接入.仿真
该论文根据人工神经网络、模糊逻辑、模糊神经网络等理论研究的发展现状,针对模糊竞争学习矢量量化的特点、存在的主问题问题以及未来的发展趋势,对模糊神经技术在矢量量化图
该文设计了外围接口电路,主要包括数模转换和模数转换部分,在模数转换部分,使用了Maxin公司的Max186模数转换芯片,采用单端双极输入,串口输出到DSP.在数模转换部分使用了Nati
随着手机的普及,短信息已经成为人们日常交流和商业往来的重要手段,人们每天发送和收到的短信息中含有很多重要信息,例如银行账号、商业数据、个人资料等,如何保护短信息在传输和
近年来,光网络技术步入高速发展时期。光纤以其自身频带宽,容量大等特性成为实现宽带通信网的重要依仗。通信网的光纤化和现代通信方式向宽带转变,是现代通信技术发展的必然趋势