基于Hadoop的BT业务流量精细识别及分析

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:haha7289
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
对等网络(简称P2P)现阶段已成为互联网带宽中最大的消费者。作为P2P最主流的代表,BitTorrent(简称BT)协议所产生的流量已占到整个P2P网络的60%,并呈现出持续增长态势。在流量已呈现大数据特征的情况下,单纯判断BT流量是否存在,关联性弱,也过于笼统。更进一步,对BT业务流量进行更加精细化的识别与分类,获取BT资源服务器的相关属性和重要BT用户流量的分布情况,是十分必要的。既可以及时了解BT网络内资源的调度情况,又能够监控BT流量的分布特征及变化,无论是对BT应用本身的管理,还是对用户使用BT情况的监控,都有着非常重要的意义。本文首先介绍了目前BT流量识别领域的研究现状,阐述了现有方法的局限性。在对BT协议通信流程进行报文与流量特征两个层面详细分析的基础上,结合现有的DPI特征与行为特征两种流量识别方法,提出了一套完整的区分Tracker服务器与Peer的精细化流量分析方案。为了应对逐渐显现的大数据特征,本文实现的BT流量精细识别与分析系统使用了Hadoop系统和MapReduce分布式数据处理框架,超越了以往使用采样数据或主动测量的限制。本系统通过多个连续的MapReduce作业链实现海量网络流量数据中,Tracker服务器属性的提取与Peer详细流量信息的汇聚。在此基础上,使用分布式数据库HBase完成上述分析结果的存储与管理:设计并优化了表格结构及存储、查询逻辑,实现了支持可扩展的分析结果的高效存储与检索。本文最后对提出的BT精细化流量分析方法结果进行了直观的呈现,同时对Tracker属性,以及Peer流量分布特征进行了分析。
其他文献
亚麻(Linum usitatissimum L.),又称胡麻,属于亚麻科亚麻属,其种子——亚麻籽(Flaxseed)富含多种活性成分,主要有木脂素类、脂肪酸类、黄酮类、环肽类、苯丙素葡萄糖苷类、氰苷类等。亚麻籽是木脂素含量最多的植物材料之一。木脂素及其体内代谢物具有抗癌、预防骨质疏松、预防心血管疾病、减缓女性更年期症状、抗氧化等多种生物活性,是一种植物雌激素类成分。值得注意的是,亚麻籽中不仅含有
该文运用面向对象的软件系统设计方法完成了总体设计和系统主体的实现.核心部分是一个图形化的管理模块.包括图形的输入、输出以及多种处理功能.论文通过对栅格图形以及矢量
软件开发方法一直是管理信息系统发展的"瓶颈",但是,在最近的几十年中,人们开发并使用了许多新的方法和技术,并已经形成了一个比较完善的管理信息系统开发方法体系.其中,结构
该文的工作主要包括:1.对Snake,Balloon,Level Set等基于表面变形的分割技术的发展过程,研究了各种分割方法的优缺点及改进方法.2.分析反应--扩散空间及该空间中的四类抖动技
为提高虫草菌素及腺苷的代谢量,用高效液相色谱法作检测手段,以二者含量为检测指标,对无冠构巢曲霉与北冬虫夏草菌在不同发酵条件下的虫草菌素及腺苷含量进行了系统研究。在上述
该论文依据系统动力学原理,构造了上海市智能业务200号发展的社会经济系统的微观结构模型.从系统的结构出发,力图揭示系统的内部机理,最终得到计算机仿真模型.为实现智能业务
根据当前英语课程教育的发展形势得知,在英语课程教学中,融入游戏教学法,提高学生学习兴趣,已经成为主要教育形式之一.通过寓教于乐的方式,使学生在快乐中学习,在学习中感受
该论文主要介绍了两个系统:一个是XH200便携式新闻图片传真系统, 它从扫描仪或数码相机照片录入记者的便携式计算机,经过初步编辑后,将图片发送到当地的新华分社;另一个是分
本文通过对荣华二采区10
期刊
尼古丁对大鼠中脑α-7型神经烟碱胆碱能受体表达的影响 目的 吸烟可以致癌,孕妇主动或被动吸烟会导致流产、胎儿发育不良及后代中枢神经系统功能异常,如认知障碍、注意力涣散