边缘计算下基于强化学习的策略路由研究

来源 :华东师范大学 | 被引量 : 0次 | 上传用户:mxqfeng
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着虚拟现实、物联网和智能制造等新技术的日趋成熟,广泛使用的云计算无法满足海量连接下的数据传输和处理。为了得到即时的反馈,边缘计算通过把计算节点迁移至移动接入网的边缘来降低传输时延。受硬件限制,边缘节点可能达到满载从而影响计算响应的时延,降低服务质量,策略路由可以实现边缘计算下的任务调度,为了减小任务调度带来的额外时延等影响,强化学习能够使策略路由具有资源感知和负载均衡的能力。本文对边缘计算下基于强化学习的策略路由进行研究,针对边缘计算下因计算节点满载而导致服务质量降低的问题,通过任务分片和学习分段的方法对Q学习策略路由进行优化,最后设计边缘计算下基于该优化策略路由调度的原型系统。本文的主要内容分为如下几点:1.从策略路由的优化角度出发,本文提出了基于马尔科夫决策过程的Q学习任务路由算法。首先建立面向ECN的网络模型和计算模型,并定义以优化传输时延、堵塞概率、资源能耗为目标的问题描述。其次,把网络资源和路由策略分别代入马尔科夫决策过程。最后通过迭代的Q学习策略路由算法降低传输时延。2.针对基于任务的策略路由存在时隙偏差问题,本文提出了基于多任务分片的区间Q学习策略路由(EQMTR)算法。首先,为每个路由节点设定任务队列,并对任务流量进行基于分片的出队和入队算法。其次,针对长时延传输下的策略过期问题,通过对学习表进行基于时间段的区间分段,对不同时间段内的路由策略进行收敛。最后,考虑到边缘计算场景下的海量服务,把单任务调度扩展为多任务调度的方法,提出了 EQMTR算法。最后,仿真实验表明EQMTR算法具有优异的性能表现。3.本文设计了边缘计算下基于EQMTR调度的原型系统(ECN-ESPS)。该系统划分为资源感知模块、节点选择模块、路由调度模块和结果分析模块。ECN-ESPS拥有对边缘计算网络的自适应感知,当侦测到满载节点时,对该区域后续接收到的计算任务进行基于EQMTR的调度,同时为每一项调度任务智能地选择调度节点,最后对调度过程中产生的网络环境数据进行分析评估。综上所述,本文通过优化基于强化学习的策略路由算法,提升ECN中任务调度的效率,通过设计基于EQMTR算法的原型系统,有效解决边缘计算下因计算节点满载而导致QOS降低的问题,对边缘计算下的任务调度研究具有重要意义。
其他文献
社交媒体的快速增长使人们能够通过分享他们的情绪以及他们对任何特定主题的意见或评论的形式进行交流。因此,这导致了大量非结构化数据的生成。商业组织需要处理和分析这些数据,通过更深入地了解用户情绪来支持他们的决策。此外,客户在购买产品或使用服务之前首先阅读意见和评论。由于各种基于互联网的应用程序和网站的繁荣,监测和分析意见和情绪并手动从中提取有价值的信息是一项具有挑战性的任务。因此,需要自动情绪分析或意
学位
为探究AR图书交互设计的变化和发展,对多感官通道整合理论进行研究,探索多感官视角下的交互设计,并提出以AR图书为表达载体的设计策略,以此帮助AR图书更好地结合纸本阅读与数字阅读的优点,探索自身作为新媒介的阅读价值。
期刊
5G的发展和AI应用场景的增加,将会对人们的工作生活方式产生巨大的影响,企业应该抓住这次机遇,创造出更好的产品、提供更好的服务。近年来,由于移动智能的兴起,对话服务成为了一个热门的研究方向。智能助理将在这个变革中扮演重要角色,用户通过语言和计算机进行交互,将大大提高人机交互的效率,通过对话就可以完成问题咨询、流程办理将极大的提高用户的使用体验。在商业应用中,企业的目的是在特定场景为用户提供服务,因
学位
阅读教学有很多目标,其中引导学生梳理文本意义、感知与运用文本语言、分析与评价作者写作意图以及情感态度价值观是占据阅读课最多时间的一项,而实现这一目标的重要途径则是教师提问。然而,仅仅关注单个问题的形式、内容层次是远远不够的,我们需要新的研究视角,即从宏观、整体的视角来研究课堂提问,关注教师能否实施连贯的、有逻辑递进的提问序列,推动学生对文本意义进行深度、开放的理解。有鉴于此,本研究以上海市不同类型
学位
近年来,由于区块链技术的迅速推广和数字货币的快速发展,数字货币投资逐渐进入人们的生活,与此同时,伴随着近日来数字货币市场的利好行情,全球投资者的情绪日益高涨,人们纷纷开始关注其涨跌趋势。短文本社交平台作为人们发表个人观点的媒介,在很大程度上表达了投资者的情绪态度。对于市场中的信息,人们往往会关注各类主流资讯平台来作为其投资依据。本文以数字货币的代表比特币(Bicoin,BTC)为例,研究其历史价格
学位
在英语成为“国际通用语”、“中国文化走出去”战略的国内外背景下,我国英语教学不仅需要关注世界优秀文明成果,也应当充分关注本土文化意识的培养,重视优秀传统文化的传承,提高学生用英语表达中华文化的能力。教材是教师实施教学活动的依据,教材中文化内容的呈现及文化活动的设计影响着英语教学中文化教学的内容、方式及学习效果。本文对中日两套高中英语教材的本土文化活动展开比较研究,旨在对两套教材在本土文化活动设计上
学位
多智能体系统是由多个通过与环境动态交互来优化策略的智能体组成,其目的是通过系统内的多个智能体间的高效协作来完成复杂的全局目标。现有研究表明,深度强化学习可以有效增强每个智能体的学习和决策能力。然而,多智能体强化学习的研究还面临环境动态变化和维度灾难导致的协作不充分问题。本文针对多机器人系统这一典型的多智能体系统,面向动态环境下多机器人协同导航和多机器人无线通信资源资源分配任务需求,研究了基于多智能
学位
当下汽车工业正经历百年未有之大变局,电动化、智能化引领的汽车工业变革,正在催生不断变革的新一代电子电气架构,深刻影响全球汽车产业格局和汽车工业研发体系。不断突破的先进电化学技术提升了电池可靠性和续航能力,推动了整车动力系统从内燃机向电动化转型,同时也提高了对电池状态精准监控和电池管理系统功能安全的要求。本文针对实验室与某电池制造商合作的电池管理系统基础软件功能安全展开研究。本文依照ISO 2626
学位
在过去数十年,全球范围内的皮肤病患者数量一直在急速增加,但相应的医疗设施和就诊意识却没有同步得到提高,患者普遍无法接受到足够的治疗。与此同时,使用人工智能算法进行辅助诊治的研究成果日益斐然,但普遍缺少直接提供辅助诊断服务的能力。因此本文研究旨在实现色素性皮肤病的自主辅助诊断系统,提供自主疾病监测服务,另一方面,医疗领域本身也存在着标注数据成本高、难度大的问题,这也使得研究解决少量数据集训练的问题成
学位
图像语义分割旨在实现像素级的标签分类,是人工智能的热门研究方向之一。语义分割作为一项基础的视觉感知任务,其可以被广泛的应用于多种场景下,如无人驾驶、视频监控以及智能医疗等。由于卷积神经网络拥有较高的可迁移性和鲁棒性,基于卷积神经网络的语义分割方法被广泛使用。注意力机制通过模拟人类视觉机制的原理可以使模型有选择性地关注图像中的重要区域,以此提升分割效果。因此本文主要对基于注意力机制的图像语义分割方法
学位