基于强化学习的边缘计算网络资源优化研究

来源 :武汉大学 | 被引量 : 0次 | 上传用户:wef123456
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
伴随着边缘智能、工业物联网、智能机器人等产业的蓬勃发展,用户对差异化、个性化和智能化的通信需求与日俱增。加之,网络资源短缺等,这些因素将显著加大未来一代通信网络的网络负载与网络资源在时间和空间上的波动性,使得网络资源分配不均的问题进一步加剧。因此,针对个性化、弹性化以及智能化地优化网络资源的研究工作备受研究者们的青睐。基于强化学习的边缘计算网络资源优化研究旨在提高网络资源的优化效能,尤其在任务卸载与计算、信息量化与智能决策以及资源共享与配置方面迁移并改进人工智能领域的学习算法,促进资源配置在供应端的效用最大化,在需求端的体验最佳化以及在维护端的运营智能化,主要从边缘计算网络资源优化的上述三方面开展研究,具体包括:(1)在任务卸载与计算方面,分别研究基于Q-学习弹性资源供给的分布式业务处理的问题和基于深度Actor-critic网络的在线学习卸载计算的问题。对于前者的研究,首先提出一种用于弹性资源供给的分布式业务处理架构(SDVTS)。SDVTS分别从面向用户资源和基站资源的角度设计适应用户动态需求的算法。借助于软件定义的网络,SDVTS在交互式迭代中完成基于请求服务和基于推送服务的任务。其次,构建用于计算业务处理延迟的时间模型,并分解该非凸的时间模型,探索对偶进化算法,找出近似最优解。此外,引入一种具有个性化Qo E分析的低复杂度强化学习算法,并设计出用户与蜂窝基站间的分布式联盟算法,实现改进的增强学习系统组件与嵌入在SDVTS架构中引擎的无缝衔接。仿真结果表明,与对比的其他方法相比,所提出的算法在用户的体验质量和蜂窝系统的性能方面占主要优势;对于后者的研究,设计出一种在线定制化学习无模型问题的统一求解方法。其将复杂的优化问题分解为子模型,采用基于能量效率的Actorcritic强化学习算法,从理论上分析了算法的收敛上界,并得出渐近最优解。仿真结果表明,在任务处理延迟、能量效率和收敛时间方面,所提出的方法比基准方法有显著优势。(2)在信息量化与智能决策方面,研究基于轻量型上下文在线学习信息寿命的量化问题。首先在边缘服务器端将覆盖多个关键因素的信息寿命(Ao I)量化问题构建为非线性优化问题。其次,精心设计出具有上界和下界的超立方体,并利用二分搜索快速限定上、下界的范围。此外,开发出一种轻量型上下文学习多臂老虎机算法,解决在线Ao I量化的优化问题。仿真结果表明,所提出的方法在Ao I度量的精确度、Qo E和收敛时间方面比所对比的方法有显著优势。(3)在资源共享与配置方面,研究基于学习式激励与联盟博弈的资源共享问题。引入了合作和竞争关系,协调处理蜂窝系统的总体目标与物联网(Io T)设备的个体目标之间的分布式智能算法,并分别设计出基站用户和Io T用户的效用函数。针对前者,基于连续行为空间的优先队列,设计出一种改进的Actorcritic深度学习算法,构建激励机制;针对后者,构建Io T用户的能量模型,探索联盟博弈与深度Q-学习框架相结合的新模式,构建合作与竞争过程中激励机制。理论论证和仿真结果表明,改进的强化学习算法比原始的算法表现出更优的性能,可收敛到纳什稳定的最优解或渐近最优解。综上所述,本文基于强化学习中的Q学习、Actor-critic强化学习以及多臂老虎机学习等算法进行改进并迁移融入到边缘计算网络的资源优化问题中,实现了资源的智能化配置和用户的个性化体验质量。这对泛在的工业物联网、5G通信以及移动边缘计算等网络的应用,有着广泛而深远的市场价值。
其他文献
<正>美国国家海洋和大气管理局(NOAA)提出,根据《两党基础设施建设法案》,应拨款1.05亿美元为36个鱼道项目提供资金支持,且在未来继续拨款6 100万美元。NOAA认为,这将是一笔“历史性拨款”,有助于恢复开放鱼类洄游与栖息地通道。在这36个鱼道项目中,原住民部落申请并负责建设的有15项,剩余项目中的2/3也由部落直接参与,且优先满足部落需求。部落将在恢复重点洄游鱼类项目的决策和实施方面发挥
期刊
在白霉成熟卡门贝尔乳酪加工过程中通过添加TG酶交联牛乳酪蛋白和乳清蛋白提高乳酪品质和得率。采用单因素和均匀试验设计,对添加TG酶的白霉成熟卡门贝尔乳酪品质及得率的影响进行了评价;另外,对酶交联组合对照的风味和微观结构进行分析。当TG酶添加量为8.35U/g蛋白、作用时间53 min、CaCl2添加量0.28 g/L时,和对照组相比,TG酶交联的白霉成熟乳酪(TG组)的校正得率从15.74%提高到了
针对传统垂直轴风力发电机(VAWT)启动风速较大导致使用条件受限的问题,将NACA0012翼型外型截去部分,使得H型扇叶可以在升力型和阻力型中进行切换。分析NACA0012翼型得到,当偏转角度为6°时其升阻比最大,根据S型扇叶125°启动力矩系数最低及偏转角度为6°时H型扇叶升阻比最大的两个条件进行设计。相较传统S型VAWT,混合型VAWT启动力矩系数峰值提高26.6%,最小值提高了27.4%;初
随着当前社会经济的稳步发展,建筑行业进入了全新的发展阶段,工程领域的进步使人们对建筑工程的质量、安全、进度等都提出了新的要求。施工单位在承建项目时需从多个角度提升自身的综合能力,以建设出高质量、高效益的工程,满足人们各方面的追求。由于当前很多建筑工程的规模庞大,整个项目实施中的分包合同管理尤为关键,只有全面推行分包合同管理才能保障各方高效履行职责。本文围绕建筑分包合同展开分析,提出分包合同管理的策
数字经济的快速发展成为推动要素市场化配置改革的新路径,其降低劳动力价格扭曲和通过提高劳动力配置效率的途径实现质量型“人口红利”对中国经济高质量发展至关重要。从市场分割和劳方谈判力量视角构建数字经济发展影响劳动力价格扭曲的作用机制,并基于中国城市层面数据,利用主成分分析法构建了数字经济发展指标,利用生产函数法测算了劳动力价格扭曲,探讨了数字经济发展对劳动力价格扭曲的影响。实证分析发现,推动数字经济发
绩效反馈能够影响大股东隧道行为且受制于企业内部股权结构和外部市场环境的调节作用,但现有文献中缺乏探讨有关绩效反馈对大股东隧道行为影响机理方面的学术成果。笔者依据2011—2020年中国沪深A股市场中剔除了金融类等特殊类型企业后的上市公司数据,利用多元线性回归方法,实证检验绩效反馈对大股东隧道行为的影响及其过程中企业所有制性质和企业所在地区市场化程度的调节作用。结果证实:绩效反馈与大股东隧道行为之间
期刊
水力压裂能有效沟通天然裂缝形成复杂缝网系统,极大地提高低渗透油气藏的产能。为有效评估储层水力压裂改造效果及规避潜在的地质安全隐患,需要建立完善的压裂改造监测技术,而微地震监测是目前最为有效的监测手段之一。近年来,国内外微地震监测技术取得了较快的发展,但数据处理仍基本依赖于人工,成本昂贵,且较难提供连续的监测信息以完整反映压裂全过程。为进一步推动非常规压裂生产过程中的实时微地震监测及现场反馈,减轻人
鱼道是为保障鱼类的生存繁衍,保护洄游性水生物通过水坝、水闸等障碍物的重要通道。设计一种新型竖缝式双池室鱼道,并采用RNG κ-ε模型对鱼道进行数值模拟,计算分析其水力特性。结果表明:鱼道具有3条主流区和多个稳定的低流速回流区;鱼道池室内水流具有丰富的流速信息,能够给不同鱼类提供上溯信息供其洄游;休息池室中回流区的紊动能较小且沿程稳定,消能池室紊动能最大值为0.06 m2/s2。竖缝式双池室鱼道作为
选用83.0 kg左右日龄相近、健康无病杜长大三元杂交育肥猪60头,按照体重相近的原则随机分到4个组中,每组5个重复,每个重复3头猪。对照组饲喂常规日粮,处理1、2、3组分别饲喂添加17.9%、35.8%、53.7%新鲜发酵木薯渣的饲粮(分别等同于使用5%、10%、15%的风干发酵木薯渣饲粮)。风干基础,各组日粮除粗纤维水平不同外,其余营养指标基本接近,研究不同用量发酵木薯渣对育肥猪生产性能的影响