【摘 要】
:
传统网络因其控制平面与转发平面紧耦合,使得系统的升级成本较大,且网络的运行和维护工作量较大。软件定义网络(Software-Defined Networking,SDN)实现了控制和转发的解耦合,使其分别由分离的设备独立完成。其中,控制功能由软件定义网络控制器集中完成。在这种新型的网络结构中,控制器如何智能调度动态网络流量,成为网络领域的重要问题之一。结合了深度学习感知能力和强化学习决策能力的深度
论文部分内容阅读
传统网络因其控制平面与转发平面紧耦合,使得系统的升级成本较大,且网络的运行和维护工作量较大。软件定义网络(Software-Defined Networking,SDN)实现了控制和转发的解耦合,使其分别由分离的设备独立完成。其中,控制功能由软件定义网络控制器集中完成。在这种新型的网络结构中,控制器如何智能调度动态网络流量,成为网络领域的重要问题之一。结合了深度学习感知能力和强化学习决策能力的深度强化学习,一方面能够准确及时感知网络流量变化,另一方面强化激励良好反馈和惩戒压制负面反馈,其良好性能正在被越来越多领域所关注。而深度强化学习主要分作两类:基于值函数和基于策略梯度。这两种深度强化学习,在SDN控制器智能化研究中均有一定的工作。本文分析了SDN下非智能路由考虑因素单一且无法学习之前错误经验从而有效避免再次发生等局限性,并讨论了现有SDN下非智能路由机制所存在的问题。针对该问题,介绍了目前SDN路由机制与人工智能结合的案例,并结合上述研究与讨论,提出基于深度强化学习的SDN智能路由优化方法。本文完成了如下改进:1.研究了当前基于深度Q学习(Deep Q Network,DQN)智能路由的相关工作,注意到很多模型在训练神经网络的时候,不同的终端都采用同一个神经网络架构,仅仅只改变网络参数来进行训练,这种方法在实际使用的过程中存在网络吞吐量不足等问题。因此本文提出一种对于不同目的节点配置不同结构的神经网络,以此来有效的解决网络中的动态路由的控制问题。仿真结果表明该方法具有良好收敛性与稳定性的同时,有效提高了网络吞吐量。2.由于DQN无法在连续空间和状态上进行优化的问题,因此采用深度确定性策略梯度(Deep Deterministic Policy Gradient,DDPG)对;路由进行优化。论文在DDPG基础上通过采用线下训练线上小范围调整,提高智能体收敛性并缓解资源开销,仿真结果表明,基于DDPG的SDN路由优化方法具有良好的收敛性与有效性,与基于DQN的智能路由方法相比较,该方法对于SDN网络的运维管理,具有较大的实际意义与价值。
其他文献
大江东去,积淀一片沃土。血沃中原肥劲草,寒凝大地发春华。中国共产党从她诞生之日起,就用鲜血和生命铸就中华民族的脊梁。中共“一大”与会人员才13,就有5位湖北人。董必武,
近年来,中等职业学校致力于通过教学实践培育集建设、服务、生产、管理四位一体的一线优秀管理型和实践型专业技术人才。顶岗实习是我国中等职业技术学校颇具中国特色的专业
<正>一、数据质量的发展数据质量的研究始于20世纪70年代前后,经过50多年的发展,至今已形成一系列经典的理论、技术和方法。20世纪70~90年代,是数据质量研究的萌芽阶段,那时也
随着全球无线互联网的蓬勃发展以及个人移动终端业务的快速推广,与移动终端相关的技术和服务也在不断的发展和完善。位置服务逐渐成为移动通信领域的热点,用户的位置信息对评估及提升网络质量、热点分析及保障等非常关键,但却很难精确获取。除此之外,实现用户精准定位还能为运营商或第三方的增值服务和产品提供可能,从安全服务到支付、信息追踪、导航、数据/视频集成产品等方方面面。在网络优化中常常使用无线测量报告来评估终
糖尿病(Diabetes)是继肿瘤、心脑血管疾病之后又一大危害人类身体健康与生命的疾病。近四分之一的糖尿病患者会发生创面愈合延迟、糖尿病溃疡、糖尿病足等并发症,这些是糖尿病患者致死或致残的重要原因。糖尿病难愈病理包括创面炎症期过长,神经紊乱,免疫失调等,而炎症期过长是难愈合致病病理中至关重要的一个,现阶段针对该病理尚未有较合适的解决方案。设计一种可缓解创面炎症期过长的敷料以促进糖尿病创面的修复是可
<正>一件书法作品应当如何欣赏?比如说,当我们看到一件书法作品,掩去书者的姓名,抛却所有书法本体之外的东西,一件作品应当如何评价?比如下面两件作品:这两件作品一件是日本
心血管疾病是一种威胁人类健康的常见病。心电图(ECG)检查与分析是临床上评估心脏状态及功能常用的手段之一。与其他医学方法相比,具有易于检测、直观性、无创、准确等优点。
本文梳理了美国军事卫星发展现状及重点方向,从卫星资源应用及作战阶段角度提出卫星资源作战应用矩阵,并设计了一种未来海上作战模式及行动流程;基于军事问题及相关技术进展
随着LTE网络进入运营成熟阶段,网络的复杂度不断增大,现有的网络规划技术方法已不能完全适用。通过对基于栅格大数据的LTE网络规划方法的研究,将现网栅格化精确地理定位信息
2016年5月31日,安徽省高院召开新闻发布会,首次向社会公开发布“未成年人刑事审判白皮书”及典型案例。白皮书显示,2012年至2015年,安徽省各级法院生效判决未成年被告人4816人,犯