高速网络流量测量与分析研究及其应用

来源 :南京邮电大学 | 被引量 : 0次 | 上传用户:LZLZ
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
网络流量测量是网络管理中一项重要任务。然而随着互联网的飞速发展,网络流量呈现爆炸式的增长,使得对高速网络流量的测量面临着很大的挑战。Sketch是一种可以对数据流进行存储和汇总的方法,可以对数据流进行测量和查询,它有几种典型的Sketch算法:Count-Min Sketch、CU Sketch和Count Sketch,可以将它应用到网络测量中来。但是由于网络流量自身的特点,在使用Sketch进行测量时可能会产生大量的空间浪费,造成空间利用率低等问题。此外,由于Sketch是使用散列函数对数据流进行汇总,散列冲突会造成估计值的误差,尤其是对于小流量。因此,本文的工作主要针对于空间利用率低和对小流量的过高估计这两个问题对网络流量测量的算法进行改进。本研究首先引入进位的思想,提出了将多个Sketch与Counting Bloom Filter(CBF)相结合的结构——Self-Adaption Sketch(SA Sketch)。该结构可以根据所需测量的网络流量的大小动态地申请空间、创建Sketch,并使用CBF来存储当前流量使用的Sketch的数量,从而提高空间的利用率。实验结果表明,SA Sketch在进行点查询时的误差相比于Count-Min Sketch、CU Sketch和Count Sketch有了一定的降低。在进行heavy hitter检测时,准确性也有了极大的提升。在SA Sketch与其他Sketch达到相同测量精度时,SA Sketch使用的空间更小,并且与其他Sketch算法保持了相同水平的吞吐量。负载因子越大,SA Sketch在准确性上的提升越明显。后续研究发现,由于Counting Bloom Filter使用散列函数对元素进行存储和查询,从而导致在查询时存在一定的误差。因此,在SA Sketch中对流量进行点查询时,查询的Sketch的数量可能会发生错误,导致最终的查询值存在较大误差。为了解决这一问题,本研究采用布谷鸟哈希的思想,将改进后的布谷鸟哈希表与Sketch相结合,提出Cuckoo-Based Self-Adaption Sketch(CBSA Sketch)。该结构采用布谷鸟哈希表对Sketch的数量进行存储,从而实现对Sketch数量的准确查询,进一步提高点查询的准确性。实验结果显示,在进行点查询时和heavy hitter检测时,CBSA Sketch的准确性相比于Count-Min Sketch、CU Sketch和Count Sketch有了显著的提高。在达到相同准确性的情况下,CBSA Sketch提高了平均吞吐量并且有效地节省了内存开销。综上所述,本研究提出的基于布谷鸟哈希的自适应概要数据结构(CBSA Sketch)有效地提高了空间利用率和测量的准确性,并且在一定程度上提高了吞吐量。由于它在网络负载因子越大时,相比于其他算法的提升更加明显,因此,它更适用于高速网络流量的测量,并且可以根据所需测量的网络流量大小和测量的目的,选择最优的参数来对数据流进行处理。
其他文献
促进出口转型升级是经济新常态下的必经之路,创新和制度是这一路径中的关键因素。文本以资源基础理论、产业基础理论和制度基础理论为依据,首先。从理论上分析了创新、制度与企
随着信息技术的进步,IP骨干网络规模急剧扩大,网络结构也越来越复杂,网络流量预测成为一个重要的研究课题。由于网络规模的扩大及现代网络中用户的飞速增长,网络拥塞或过载的
为实现电能的科学计量,以防窃电,在对常见窃电方式进行分析的基础上,设计了新型单相全电子式防窃电电能表,适合我国电网发展的实际情况,有较广阔的应用前景。电能表硬件部分
[目的/意义]伴随着信息技术的深度应用及发展,互联网遭遇的威胁和风险也日益增大,网络安全问题成为世界各国普遍面临的一道难题。[方法/过程]引入FBI网络部关于网络安全风险
阐述了小杂粮的概念和包含的种类,小杂粮的资源特点,小杂粮的生产与出口,山西省小杂粮的优势所在,加入WTO的机遇与挑战,发展小杂粮的对策与切入点。
本文基于4C和4R组合营销理论,对手机应用商店的产品研发和发展策略做了分析很研究。
<正> 近几年,在外贸企业陷入低谷的形势下,如何集中和利用可能利用的有利条件为企业创利,成为财会人员的任务和责任。我们经过实践,觉得对公协定存款、远期结售汇对企业提高
期刊
当前,以大数据、智能制造和无线网络为代表的科学技术的发展,加快催生新一轮科技革命和产业变革,第三次工业革命正在向我们走来。那么,第三次工业革命会不会动摇我国刚刚取得的制
学位
论述了大豆蛋白的营养及大豆蛋白饮料的生产工艺流程。