基于机器学习的流量识别关键技术研究

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:bmw
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
过去的二十年中,互联网浪潮一波接一波,新技术、新应用层出不穷,特别是进入21世纪以来,以P2P为代表的新应用在给互联网用户带来极大便利的同时,也出现了带宽的贪婪吞噬,以及恶意逃避监测等问题。这就给互联网工程技术界和学术界提出了一个新的挑战:如何对这些新应用的网络流量进行准确识别,进而加以有效管理,以确保网络的优质运营,为用户、企业提供良好的服务质量和可靠的安全保障。这一问题的提出直接催生了应用流量识别这一研究课题。机器学习作为人工智能领域的重要方法,近年来在流量识别研究中得到了广泛应用。由于其智能性、良好的泛化性以及高识别效率等特性,使其逐渐成为流量识别研究中的主流方向。然而机器学习应用到流量识别时,数项关键问题却亟待突破:(1)非平衡流量识别问题。互联网各类应用流量呈极不均衡分布,这给识别模型带来了新挑战,因为标准机器学习模型很难准确识别其中的劣势类样本;(2)基础数据获取困难。网络上的流量数据本身并不携带准确的原始应用信息,因而网络上采集的数据缺失目标类型信息,无法有效地用于构建识别模型;(3)流量特征提取与评估问题,尤其是早期识别的有效数据包数目界定以及特征的有效性评估。本文针对流量识别研究中上述关键问题开展研究工作,力图建立一套从基础数据获取到最终识别模型构建的流量识别技术方案。以这一核心研究目标为导向,本文系统地开展了以下研究工作:(1)针对非平衡分类问题,改进标准数据引力分类模型(DGC),提出了非平衡数据引力分类模型(IDGC),通过大量的实验验证了IDGC模型良好非平衡分类性能。在此基础上,针对互联网各类流量的非平衡分布问题,将IDGC应用到非平衡流量识别中,构建了高效的非平衡流量识别模型。实验证明,这一识别模型与标准分类模型和其他非平衡分类方法相比,在非平衡流量识别问题中可以获得非常高的灵敏度,并能在灵敏度和特异度之间实现很好的平衡。(2)针对流量识别的特征选择与高效识别模型构建的问题,应用柔性神经树(FNT)构建了高效的流量识别模型。充分利用FNT良好的分类性能和自动特征选择能力,在实现理想的识别精度同时,对流量特征进行自动选择,进而评估了不同特征的重要程度。(3)就流量识别中基础数据获取困难的问题,进行了具有准确应用背景信息的流量样本采集方法的研究。本文从互联网用户终端着手,采用IP报文标记技术对用户发送的IP报文进行应用标记,使得发送的IP报文携带其原始应用信息。这一方法有效解决了流量样本背景信息缺失的问题,从而使网络上采集的流量数据具有准确可靠的应用背景信息,而准确可靠的基础数据为流量识别研究提供了最基本的数据保证。(4)针对流量早期特征提取中数据包数目选取的经验性和随意性问题,结合信息理论分析、实验验证等多种研究方法,研究最有效的早期数据包数目,即流量早期粒度定义问题,为流量早期特征提取时数据包数目的选取提供可靠依据。
其他文献
自2004年世界上第一所孔子学院在韩国首尔成立后,同属汉文化圈的中国邻国韩国加大对国内的汉语教育。除了孔子学院以外,韩国当地汉语学习者通过孔子课堂、汉语辅导学院等不同
本文在搜集和阅读大量绿色开放空间相关文献的基础上,首先对绿色开放空间的概念进行了论述,其次对近年来国内外学者城市绿色开放空间研究现状及主要集中的几个方向上进行了全
本文介绍了铝合金门窗五金配件的腐蚀特点和机理,分析了影响铝合金门窗五金配件腐蚀的气象因素,提出了铝合金门窗五金配件的防腐措施。
近年来,楼宇经济作为一种新兴的经济形态,在我国很多城市开始出现。楼宇经济的发展,为地方政府带来了税收,提高了城市品位,并推动着城市经济结构的优化升级。2012年以来,邢台
在建筑工程建设中对给排水施工加强质量控制是非常必要的,由于影响给排水施工质量的因素比较多,所以建筑给排水施工中要不断规范施工技术,加强对重点施工环节的重视,避免各种
本文把中国北方地区东周时期的铜铃形饰分为圆柱形、圆锥形、凹口形、圆球形、联珠形五个大类。其中圆柱形A型为甘宁地区主要流行的器物,圆柱形B型是中原地区流行的器物,而圆
目的肺腺癌是肺癌的的一种常见类型。本文研究肺腺癌的发生发展机制,预测与肿瘤发生发展过程相关的关键基因,并对其预后意义进行研究。方法在本研究中,研究人员由基因表达综
媒介性别形象一直都是新闻学、传播学、社会学研究的一个重点问题。前人对于男性形象的研究主要集中在文学作品、影视剧和男性期刊方面。而诞生于20世纪末的我国女性时尚杂志
随着电子商务的迅猛发展,一方面网络服装店的数量不断攀升,另一方面全球网络购物的数量都是以成倍的数字增长,从网络上购买服装的需求也是呈多样化、差别化、个性化发展的趋
目的: 通过对卒中后抑郁相关因素进行回顾性分析研究,以明确卒中后抑郁的发生与病灶部位、社会支持及患者自身因素等各项因素的相关性,从而为预防卒中后抑郁的发生、改善卒中