边缘物联网数据处理平台及任务调度系统设计与实现

来源 :浙江大学 | 被引量 : 0次 | 上传用户:sangjianfei1
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
边缘计算作为一种新兴的计算范式,旨在靠近物联网终端一侧,构建一个相对完整的、具备计算和存储等核心能力的应用平台,能够充分利用终端上报的实时物联网数据进行快速处理与分析,降低云端物联网数据计算和存储成本,并提供多种智能化应用服务给边缘侧用户。随着物联网与机器学习、大数据计算等新一代信息技术的融合,物联网应用需要处理大量的实时数据流。同时,用户对实时物联网数据处理的延迟要求和物联网应用智能化的需求为传统的边缘计算平台带来了挑战。由于边缘计算集群资源有限,需要构建分布式并行数据处理流程来充分地利用有限的集群资源,同时应对任务进行有效的调度编排,提升边缘应用的整体运行效率。本文使用容器化编排技术,构建了五层分布式边缘物联网数据处理平台软件架构,结合主流的实时大数据计算和人工智能框架,实现边缘侧实时计算和在线机器学习应用,并为平台中的在线机器学习任务开发了智能调度流程与系统。本文的主要工作总结如下:1.提出了基于容器编排框架Kubernetes的边缘物联网数据处理平台五层软件架构,设计了一套完整的物联网实时数据处理流程。软件架构主要分为物联网数据接入层、数据转发层、大数据处理层、在线机器学习应用层、数据存储与可视化层。2.在异构边缘服务器节点上对本文所设计的分布式边缘计算软件平台进行了部署实现。将软件平台应用于实际的电力物联网场景,实现了大数据实时电力功率流计算和基于LSTM模型的在线功率预测应用,并对物联网数据处理延迟、计算资源使用情况和平台扩展性能等方面进行了测试。3.基于深度强化学习设计并实现了边缘机器学习任务的动态编排系统。首先,设计了基于Deep Q Network(DQN)的离线任务调度算法,对算法的收敛性进行了验证。其次,开发了一套基于Kubernetes控制器模式的调度控制平面组件,结合DQN强化学习调度算法和Kafka消息中间件实现了周期性动态编排控制流程。通过任务编排对比实验,进一步验证了编排系统可以有效缩短在线机器学习任务的平均完成时间。最后,实现了调度信息管理平台。
其他文献
2003年以来,美国和欧洲盟友之间多次出现重大的分歧和矛盾,导致北约凝聚力下降。美国发动伊拉克战争、美国战略重心转移,以及特朗普执政风波,都对美欧同盟关系造成了较大的挑战。但北约每次都能克服这些内部矛盾,成功修复盟友之间的裂痕,维持北约的团结。同盟关系紧张与美国和欧洲盟国在政治安全事务上的分歧有关。本文认为,当同盟关系紧张时,美国积极主动的修复行为能够产生较好的效果。此外,外部威胁因素会对盟国采取
学位
在沥青路面再生技术中,再生剂的使用能够提高回收沥青路面材料(RAP)的利用率,目前最常用的再生剂为石油基再生剂,该类再生剂的主要成分为不可再生的矿物油。然而,在不可再生资源日益消耗的背景下,可再生的生物油基再生剂的开发逐渐成为研究热点。生物油种类繁多,但目前对于不同种类生物油基再生剂的研究不太全面,且多数再生剂是针对普通道路石油沥青的再生进行开发。因此,本文针对老化SBS改性沥青制备了一种复合生物
学位
一个充满创造的民族才是一个有无限生命力和希望的民族,一个处处创新的国家才是具有无限发展潜力的国家;热爱创造、尊重创造、保护创造更是一个社会文明进步的标志。处于“世界百年未有之大变局”的中国对加快科技创新的需求更为迫切,对创新型人才的需求也前所未的有急切。创造力培养问题成为当前我国基础教育的首要任务。如何为儿童营造轻松舒适且可以激发儿童创造力的空间环境也成为当前设计界所面临的重要挑战。本文试就如何通
学位
本翻译实践报告以国际能源署于2020年4月份发布的《2020年全球能源评估》年度报告为源文本进行探讨。年度报告主要包括2020年1-3月份以来新型冠状病毒肺炎疫情下的能源具体使用情况以及后期的全年展望,属于信息型文本。新型冠状病毒以及国际能源联系社会热点,内容真实新颖,具有很强的实践意义和应用价值。此外,国内外尚无《2020年全球能源评估》的中文译本,因此译者以此报告作为实践材料具有一定的研究意义
学位
回归之前香港问题一直是中英关系问题,香港回归以后,美国却一直以各种借口插手香港事务,干涉中国内政。从1992年《美国—香港政策法》到所谓的《2019年香港人权与民主法案》,都是美国通过立法手段干预香港事务的直接证据。2014年奥巴马总统执政期间,香港发生“非法占领中环”事件以及2019年特朗普总统任职期内香港爆发“修例风波”运动。其背后都逃不开美国政府的直接或间接作用。美国政府从总统到各级官员再到
学位
人类和自然在整个生态体系中占有举足轻重的地位,而人水系统涉及自然、社会经济等诸多复杂层面,人水矛盾加剧将导致整个系统发展受阻。对于干旱区而言,其经济发展的最大障碍是水资源的短缺和浪费。目前,武威市水资源极度缺乏,供需矛盾突出,已成为影响区域人水和谐与经济社会发展的关键问题。该区主要以农业种植为主,水资源匮乏限制了该区域农业乃至整个社会发展。那么,研究区水资源承载能力现状如何?发展趋势如何?应采取什
学位
近些年来,山东港口之间一直面临激烈的同质化竞争、资源利用率低,发展不均衡等问题。随着我国港口整合的不断推进,“一省一港”已成为全国港口整合的趋势,虽然山东省抓住机遇,建立山东省港口集团,通过行政方式将港口股权收归省级,整合山东港口资源,对其进行可持续发展整合,逐渐将山东从“一群港”向“港口群”转变,但是在整合过程中并没有实质性解决山东三大港口多方博弈的局面,消除青岛港、日照港、烟台港三者间为争夺市
学位
经济的发展促进了城市化及工业园区化的加深,诸多城市青年选择在写字楼或园区周边的单身公寓居住,甚至以SOHO(Small Office,Home Office)的形式生活。居住环境影响到青年人的生活品质,据调查显示,目前很多青年群体租住的房屋存在家居规划不合理,售后服务欠缺等问题,不满足用户个性化、定制化的需求。本课题针对青年人群的居住问题,创造性地提出“微住房”的概念,以服务设计理念为指导,探讨小
学位
近红外光谱(Near-infrared reflectance spectroscopy,NIRS)技术作为21世纪以来日趋成熟的检测技术,其应用简单快捷、高效环保,在肉品检测领域具有十分广阔的应用前景。本研究旨在利用近红外光谱技术快速准确地检测羊肉中各理化指标的值、鉴别羊肉品种与产地、预测其货架期及综合评定羊肉品质安全。本论文包括以下3个试验:(1)利用WINISI III软件与Foss Cal
学位
伴随世情国情都在发生着的巨大变化,国家提出全面深化改革,以适应当前我国经济社会改革发展面临更加错综复杂的国内外环境。当前,宏观经济向好趋势不明,对电力供需情况影响重大,同时也是电力施工企业未来发展方向的严峻考验。以上级单位重组整合为契机,企业进行了自身资源的调配,促进企业持续稳定经营发展,此项战略部署对深化企业改革意义深远。众多企业在重组之后需要主动适应新常态,尽快破解人力资源存在的突出问题,绩效
学位