基于异构图神经网络预训练的云工作流性能预测

来源 :东北财经大学 | 被引量 : 0次 | 上传用户:roc59516663
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
云技术的出现,让网络环境中的多项资源实现了共享,实现了资源的有效利用和集中管理。然而近年来,受益于技术驱动、产业需求以及新基建的推进,云计算迅速发展,资源、用户、任务和工作流的规模不断扩大,如何有效的组织海量资源,应对随机波动的需求,通过及时的伸缩控制成本,同时保障流程服务质量,云资源调度与云服务运作优化成为重要的研究领域,也是企业和学术界共同关注的系列问题。特别是近年来容器化高密度混合云的普及,各类大数据集群服务与微服务在各类边端云上混合部署,面向各类用户需求灵活组合而成的复杂流程应用,成为不仅仅是云中智能运维,更是面向核心业务优化的重点管理对象,而对流程运行中未来任务各关键指标的趋势估计和预测是有效的智能化调度的重要前提。因此,本文旨在解决云工作流中未来任务的性能预测问题。经研究发现,目前学术界关于云工作流性能预测问题的研究难点有三。第一,真实场景下的云工作流数据获取困难,目前研究大都基于仿真数据;第二,目前学术界关于云工作流性能的预测大都基于单个虚拟机、实例、单个任务或单个主机,并没有将整个云工作流看作一个整体,缺少上下文信息;第三,少量研究将云工作流性能预测视为时间序列预测问题,考虑了云工作流的整体性,然而,在这些研究中,云工作流收集的序列信息和任务之间的依赖关系是有限的和粗粒度的,导致对图结构的利用不足。为实现云工作流中指定任务的某一指标预测。首先,针对云工作流数据具有的有向无环图(DAG图数据结构)、数据结构不规则、任务节点稀少等特性,经过对相关经典问题的总结,本文选取图神经网络(Graph Neural Network)这一深度学习算法对云工作流性能进行预测,该算法具有天然的图结构特性,可以充分利用云工作流的图结构。其次,考虑到真实场景中云工作流调度的规模性、实时性的现实意义,本文提出了一种适用于图神经网络(Graph Neural Network)的预训练模型,通过预训练模型学习云工作流中的共性特征,随后通过迁移学习将预训练参数迁移到目标数据集中进行微调,这种方法极大的节约了计算成本和时间成本,并且通过实验发现对预测模型的精确度也有提高。最后,为体现本研究的现实意义,对阿里云集群日志数据进行了跟踪并将相关数据集应用到实验场景中,本次实验将云工作流中最后一个任务节点的cpu平均利用率的平均值(meanca)作为预测目标,实验结果验证了在云工作流性能预测中加入预训练的优势。因此,本文研究对于解决企业如何高效灵活的对云工作流性能预测问题具有一定的参考价值。另外,为提高模型精度,研究提出了一种面向类似于云工作流的图结构数据的数据处理方法,在图中插入虚拟节点构造异构图以消除云工作流中的孤立节点,并在节点特征中加入13个图论特征进行特征补充和表征学习,以此获取更多与工作流结构相关的特征,使图神经网络能够更深入地理解图结构。并且提出了适用于云工作流的图结构的随机节点遮盖的预训练机制以此提升模型的学习能力和泛化能力,让工作流中的节点特征以一定的概率进行遮盖,模型需要利用其他节点的特征和工作流中的图结构来恢复被遮盖的节点特征。通过大量的实验验证,结果表明了“随机节点遮盖预训练+异构图注意力网络”架构在云工作流性能预测中的适用性和有效性,以及图论特征和虚拟节点对图结构数据的效果。并且,在工业4.0的背景下,工作流程中未来任务的预测对运营和维护都有帮助。本文提出的算法不仅局限于云工作流性能的预测,对于与本文研究类似的图结构数据的预测也提供了一定的理论参考。该研究提示了企业在有效管理云计算时仅借助简单统计来进行资源估计的弊端。同时预训练也是一种应对积累海量数据的创新管理模式,能综合缩短预测模型迭代周期且提高预测性能。
其他文献
本文依托东北地区某城市轨道交通出入线段富水浅埋连拱隧道工程,采用理论分析、数值模拟和现场实测相结合的方式研究分析了流固耦合作用对富水浅埋连拱隧道施工产生的影响;并基于Flac3d5.0有限差分软件通过控制变量法对浅埋连拱隧道在流固耦合情况下在隧道不同施工工况中的隧道的开挖方案、围岩的饱和度、隧道施工的开挖步距和连拱隧道左右隧洞开挖间距这四个影响因素进行数值模拟研究分析;依托有限差分软件Flac3d
学位
城市轨道交通系统实现节能减排,是响应国家可持续发展战略方针,提高轨道交通行业竞争力,减少运营成本的重要举措。开展列车节能运行的研究对于减少轨道交通行业运营成本,实现节能减排具有重要意义。地铁列车的驾驶策略和运行时刻表影响着列车运行过程中的牵引能耗与制动能量回收量,直接决定了地铁系统的牵引供电能耗和运营成本。因此,采用合适的优化方法降低牵引供电能耗已成为城市轨道交通节能研究的热点问题。本文以地铁列车
学位
天线作为射频识别系统的关键部件之一,根据作用距离的不同可分为近场天线和远场天线。近场系统中,标签和读写器之间通过磁场或电场耦合工作;由于磁耦合在液体和金属环境中有更高的稳定性,在实际应用中更受青睐。远场天线辐射能力强、作用范围大,广泛应用在物流、仓储等固定和手持式的阅读器中。本文以超高频射频识别系统应用为背景,从磁耦合近场均匀天线、手持机高定向增益远场天线、近远场复用天线三个方面进行研究。本文的主
学位
高水位承压水一直是基坑开挖过程中一大难题,若处理不当,就会导致严重的工程事故,基坑工程中的基底突涌事故大多源于承压水处理不当。依托于长江北岸跨江隧道深基坑工程工作井基坑突涌事故,基于地下水渗流基本理论,借助地下水渗流模拟软件Visual MODFLOW对目标基坑进行二维渗流模拟,从坑外减压降水角度出发,分析研究承压水引起突涌事故的治理。利用ABAQUS数值模拟软件,应用流-固耦合分析方法,模拟研究
学位
定位在人们的生活中越来越重要,目前有常见的GPS、WIFI、雷达、传感器的定位方法,这些方法受限于信号覆盖、和应用成本等,在使用上有一定的局限性。基于计算机视觉的空间定位则在环境适应性方面具有独特优势,设备简单、成本低,因而有广泛的应用前景。基于视觉的定位有单目和双目两种,单目视觉定位对设备要求更低且部署灵活,而更具推广价值。该方法通过在多幅图像内容匹配的基础上反演相机拍摄的位置、角度来实现定位。
学位
上世纪九十年代初期,我国在借鉴了新加坡中央公积金制度成功经验的基础上建立了符合当时中国社会发展的住房公积金制度。1999年,我国正式实施了适应我国国情的住房公积金制度,该制度运行的20多年里,公积金制度在缓解城镇居民住房问题等方面发挥了积极的促进作用。但随着国家经济的大发展和社会制度深化改革,同时我们也已进入了全面小康的崭新时代,城镇居民对住房升级的需求旺盛、人们的从业结构以及收入结构都发生了质的
学位
铀矿是我国重要的战略资源,对我国军工业和核能的发展有着至关重要的作用,尤其是在我国正在构造“三大一小”能源架构的重要阶段。砂岩型铀矿是我国铀资源储量的主力矿床,其主要开采方法为地浸工艺开采,但是砂岩型铀矿普遍存在渗透特性差的问题,这导致铀矿的开采难度大、效率低,适应不了我国对铀资源日益增长的需求,因而提高砂岩型铀矿的渗透特性,提高铀矿的开采效率迫在眉睫。本文以提高砂岩型铀矿渗透特性为目的,采用数值
学位
信息技术的飞速发展要求光纤传输系统的容量不断扩增,传统单模光纤的系统容量几乎接近其可传输的物理极限,将难以满足未来通信网络带宽的需求。基于空分复用原理的多芯少模光纤被看作是最有前景的解决通信容量危机的方法之一。然而多芯少模光纤在极大地提高传输容量的同时,也带来了不容忽视的芯间串扰和芯内模间串扰问题,因此,如何抑制串扰是多芯少模光纤面向实用化亟待解决的科学和技术问题。本文从抑制多芯光纤芯间和模间串扰
学位
经过四十余年的快速发展,我国经济水平、人民生活水平均得到极大提高,但是发展的同时,问题也在产生。目前我国经济发展存在不平等、不均衡的问题,消费不平等问题日益凸显。关于经济不平等问题的研究,学者们最早从收入角度进行研究。但是近些年来,关于消费不平等的研究逐渐增多,使用消费数据进行研究的好处逐渐被熟知,所以,越来越多的文献开始转向消费不平等的研究。一个国家若想要保持持续的创新和不断的发展,人力资本的持
学位
2021年数字经济发展加速,云计算业务较上年增产最高达90%以上。强化数据服务器散热过程并有效回收余热进行利用是数据机房降低能耗的重点研究方向。本文基于平板微热管阵列(简称“MHPA”)的相变换热过程对数据中心进行强化散热及余热回收研究。研究中采用ANSYS有限元模拟技术并以数据机房运行时的热环境参数作为边界条件,对影响平板微热管单元传热的三种因素进行研究后得出较好的传热工况。在此基础上,以平板微
学位