数据中心网络流量管理性能优化技术研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:hddyy
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
数据中心为大量的应用提供基础设施服务,如网页搜索和在线推荐系统等,数据中心内部网络作为所有应用数据传输的共同载体,需要提供高带宽、低延迟等服务质量(Quality of Service,QoS)保障。由于应用对云服务性能要求的日趋严格,数据中心网络的服务质量保障面临巨大挑战。此外,数据中心服务器计算能力、存储设备数据存取能力的快速增长,也促使数据中心网络成为数据处理的性能瓶颈。因此,面对日益增长的应用需求和不断更新的软硬件设施,研究高效的数据中心网络流量管理技术,来有效保障数据中心应用的服务质量具有重要意义。现存许多研究都在网络拥塞控制、流量优先级调度和网络负载均衡等方面展开,但目前流量管理的研究方案仍面临诸多问题,比如高性能的解决方案存在部署难度高、难以为不同流量突发特征的应用负载提供性能保障、负载均衡干扰主机端流速控制等。本文针对数据中心复杂多变的网络环境下存在的问题,提出两个负载均衡方案和一个拥塞控制方案,进而高效提升数据中心网络的传输性能。
  针对主机端网络负载均衡方案中的拥塞检测不精确问题,提出一种基于精确延迟反馈的负载均衡方案(Latency-based Load Balancing,LLB),在保证易部署的同时,优化负载均衡决策以选择合适的传输路径,从而提升网络传输性能。主机端负载均衡方案由于一般不需要修改硬件交换机,具备易部署的优势,但现存方案使用的显式拥塞通知(Explicit Congestion Notification,ECN)和在应用层监测的端对端单向传输时延(One-way Delay),都无法精确评估路径拥塞程度,导致方案在负载均衡决策时难以选择出最优的数据传输路径,损害了传输性能。LLB利用主机端硬件网卡技术或高效的软件层数据IO处理技术,精确捕获网络单向传输时延来评估路径拥塞程度,从而提升拥塞检测的精确度;LLB还利用网络中其他正常数据流主动更新节点间的延迟数据,加速路径拥塞信息的反馈。实验表明,相比基于ECN拥塞反馈的典型方案CLOVE-ECN,LLB最多提升47%传输性能;在较平稳的应用负载下,相比需要修改硬件交换机的方案CONGA,LLB仍能提升2-8%的传输性能。
  针对目前负载均衡方案难以为不同流量突发强度的应用负载提供自适应性能保障的问题,提出一种自适应流量突发性的负载均衡方案IntFlow,通过充分发掘数据平面可编程交换机(Programmable Switches)特性,整合主机端拥塞监测和交换机端流量突发特征捕获两个功能,从而自适应上层应用流量的突发强度变化,提供更优的数据传输性能。IntFlow主要设计思想是:在主机端拥塞控制协议层监控ACK携带的拥塞反馈信息来评估数据流的拥塞状态,并将状态信息写入数据包头部;在可编程交换机解析数据包头部的拥塞信息,来感知当前数据流的拥塞状态,并结合流量的突发特征,实现主动而谨慎的负载均衡决策。实验表明,相比具有代表性的负载均衡方案CONGA和Hermes,IntFlow分别最多提升45%和30%的网络传输性能。
  针对网络负载均衡干扰主机端流速控制而导致的性能损失问题,提出一种路由变化感知的拥塞控制方案ACK-correction,在保障易部署的同时,提供更精确的流速控制,从而改善网络传输性能。负载均衡方案频繁调度数据流时会导致反映不同路径拥塞状况的ACK混合在一起,数据流切换路径前的ACK可能被错误地用于调整切换路径后的发送速率(即流速),造成流速控制混乱,影响传输性能。ACK-correction基于覆盖网络(Overlay Network)协议在数据包头部区域记录数据流的传输路径编号,并利用ACK进行反馈;在发送端将ACK反馈的路径编号与数据流当前传输路径编号进行对比,并将对比结果通过TCP头部的一个保留位传递给上层网络协议栈;在宿主虚拟机设计一个新的拥塞控制协议MDCTCP,其根据拥塞反馈信号和上述保留位进行合理的流速调整,避免上述流速控制混乱问题,从而优化传输性能。实验表明,相比典型的拥塞控制协议DCTCP,ACK-correction在保障易部署性的同时,提升所有数据流15%的整体传输性能;ACK-correction还能大幅降低延迟敏感短流的平均完成时间及其尾延迟,分别可实现22%和27%的性能优化,改善了时延敏感应用的网络传输性能;另外,面对数据中心动态网络拓扑,ACK-correction也能提供稳定的高传输性能。
其他文献
【中图分类号】G623.2 【文献标识码】A 【文章编号】2095-3089(2014)09-0095-01  从教三十来年,一直从事小学班主任的教学工作,虽不能说有什么经验之谈,但还是有一些切身的体会,今天写出来和教育同行们探讨。从多年的语文教学中,我感觉作文教学一直是语文教学的难点,也是学生学习语文的重点。  我常听语文老师说:“学生的作文辅导真难!”可又经常听到学生们说:“作文难,难作文。”
期刊
【中图分类号】G633.3 【文献标识码】A 【文章编号】2095-3089(2014)09-0108-01  阅读能力是当今社会人们获得成功的基本条件,也是一个人未来成功从事各项工作的必备能力。因此,如何培养孩子的阅读兴趣、提高孩子的阅读能力成了一个教育的关注点。  语文“新课标”的“阅读教学建议”第四条中扼要阐述了如何“逐步培养学生探究性和创造性阅读能力”的新课题,其目标主要是想通过多角度、有
期刊
【摘要】提高英语学科教学质量,除了平时要扎扎实实开展好各项教学工作之外,还要切实抓好各阶段的复习备考工作。我和本组教师采用“重基础、巧练习、育能力”的日常教学复习策略;“攻击式” 期中快速复习策略;“扫荡式”、“攻击式”、“演练式” 并用的期末复习策略;依纲务本夯基础、精讲多练求实效、实战模拟促提高的中考复习策略,使我校的英语成绩在全县中考中名列前茅,使我所执教班级的英语成绩在全县英语教师中名列前
期刊
【摘要】初中生怕写作文,厌写作文,认为作文无材料可写成了初中语文教学一大症结,笔者以为以日记教学为突破口,重视学生日记写作的指导、批改、讲评,激发学生写日记兴趣,通过多写日记,可以达到积累素材、练习写作技巧、提高思想认识,从而爱好写作与提高写作水平的目的。  【关键词】日记 指导 作文教学  【中图分类号】G633.3 【文献标识码】A 【文章编号】2095-3089(2014)09-0091-0
期刊
【摘要】由2014年高考山东省英语试题改革不难看出考试更加注重基础。根据完形填空题型的命题依据:格式塔心理学以及对完形填空题型的认识与理解,对学生处理完形填空题型时所出现的症状做了了解、分析,寻找到适用于学生的方法,指明方向,与学生共同成长,共同进步。  【关键词】高考改革 完形填空 格式塔心理学 五不要 五有心人  【中图分类号】G633.41 【文献标识码】A 【文章编号】2095-3089(
期刊
随着互联网进一步蓬勃发展,社交网络、电子商务、网上银行等网站上每天都流通着亿级的企业和用户信息,网站本身存在的漏洞会导致敏感信息的泄露,因此网络漏洞扫描至关重要。
  通过对漏洞扫描技术进行调查分析,针对其中的爬取网页部分的URL去重和漏洞扫描部分展开优化,一方面本文通过采用FarmHash算法压缩结合布隆过滤器的方式进行URL去重,减小了时间和空间复杂度,提高了爬虫爬取的速度和漏洞扫描器的扫描速度。另一方面本文使用动态链接库和插件技术设计实现了漏洞扫描库,内置八十多个漏洞扫描插件,并支持用户自定义
点击率预估是推荐系统、搜索等应用场景中的核心问题,也是互联网广告投放效果的重要指标。现代互联网广告主要分为搜索广告和展示广告,其中搜索广告是规模最大的广告形式。以搜索场景为例,用户搜索关键词寻找目标,广告平台通过获取具有商业价值的关键词,结合点击率预估结果展现用户最可能点击的广告。因此良好点击率预估模型既可以带来好的用户体验,也能让广告平台达到收益最大化。
  通过研究近年来基于深度学习的点击率预估模型,发现现今存在的很多点击率预估模型在挖掘特征之间的交叉关系上存在不足,对特征重用度不高。基于此,结
随着互联网的快速发展,数据分析系统需要处理的图规模呈爆炸式增长,使得系统的计算能力和存储能力面临严峻挑战。高效低误差的抽样技术能有效缩减待处理数据集的规模,同时保留原有数据集的主要特征,可用于可视化、查询、分析和社交网络影响力估测等,因而成为解决该挑战的重要途径。面向图的抽样技术分为两类:一类是通过产生边集样本来估测图特征的抽样技术,称为面向图边集的抽样技术;另一类是通过产生顶点集样本估测图特征的抽样技术,称为面向图顶点集的抽样技术。然而,现有的图抽样技术估测目标单一,且存在估测误差和开销大的问题,不能满
随着大数据技术的发展,存储系统对大容量、低功耗、快速内存的需求更加迫切。新型非易失存储器(Non-Volatile Memory,NVM)具有大容量、低静态功耗和读速度快的优势,未来有望取代传统的DRAM技术,用作计算机系统的内存。以相变存储器(Phase Change Memory,PCM)为代表的NVM每个单元的位翻转次数有限,并且每次位翻转能耗高,导致NVM面临寿命有限、写能耗高的缺陷。如何减少NVM的位翻转次数,提升NVM的寿命、降低写能耗是NVM内存技术研究中的重点。本文通过高效的数据编码方法来
【中图分类号】G71 【文献标识码】A 【文章编号】2095-3089(2014)09-0140-02  2014年3月6日下午,“未来课堂与创新人才培养模式实践研究项目“启动大会在清华附中召开,会上指出:传统课堂对于解决每个学生的兴趣爱好和特长及学习上的差异。课堂是教学的主阵地,未来课堂的设计事关未来的教学模式和教学环境。“未来课堂”通过中学与大学企业合作的方式,采取“模型建构——试点应用——应
期刊