面向Serverless计算的分布式存储系统研究

来源 :瞿沁麒 | 被引量 : 0次 | 上传用户:hb2005_2009
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着云计算技术的不断发展,Serverless计算作为一种新型云计算模式目前正变得越来越受欢迎。由于Serverless计算可以快速且廉价地调用数千个并发函数,因此它已经广泛地应用于数据分析任务。但是由于Serverless平台设计模式的限制,数据分析应用的模块之间通常需要依赖远程存储系统来交换临时数据。然而,现有的分布式存储系统不是为数据密集型场景设计的,无法在Serverless平台中满足数据分析应用快速波动的存储需求,使得存储系统经常出现性能下降或资源过剩的现象。此外,Serverless场景下的临时数据具有着大小不等、访问频率不均、生命周期多样等独特的特性,导致存储系统经常出现节点负载失衡的情况。为此,本文提出了一个面向Serverless计算的分布式存储系统优化方案。该方案通过自适应的跨存储层动态负载均衡机制和基于Serverless函数的资源弹性伸缩机制,有效增强了分布式存储系统处理临时数据的能力,显著提升了数据分析应用的性能。本文的主要贡献点如下:1.为了解决现有系统在处理临时数据时容易出现节点负载失衡的问题,本文提出了一种自适应的跨存储层动态负载均衡机制。该机制结合一致性哈希算法和双重随机选择算法,通过系统中多个存储层的虚拟节点自适应地选择负载较低的服务器,使临时数据在静态分布和动态访问中都能达到相对均衡。在AWS平台上的实验结果表明,该机制可以有效应对临时数据的独特负载特征,与传统的负载均衡机制相比,该机制可以将存储节点的负载均衡提高大约8.33倍,使数据分析应用的处理时间减少7.60%-21.14%。2.针对现有系统难以应对数据分析应用存储需求剧烈变化的问题,本文提出了一种基于Serverless函数的资源弹性伸缩机制。该机制将弹性伸缩任务以函数的形式卸载到Serverless平台上,并利用策略和机制的分离提高系统的可扩展性。为了适应不同应用场景,该机制还提供了反应式和预测式等多种可插拔的策略。在AWS平台上的实验结果表明,该机制可以在9.73s内以较低的成本有效地弹性伸缩存储资源,使数据分析应用的性能提升11.09%-17.75%的性能。该硕士学位论文中包含图29幅,表6个,参考文献72篇
其他文献
基础教育课程改革以“落实立德树人”为根本任务,并以“各学段学生发展核心素养体系”为系统性概念,深入回答“培养什么人、怎样培养人”这一问题。中小学音乐教育肩负着对下一代审美感知、艺术表现、文化理解、创意实践等音乐学科核心素养培养的重任。高等师范院校的音乐师范生是未来的中小学音乐教师,其音乐学科核心素养的培养直接影响到其未来学生核心素养的培养。该文依照2022年版《义务教育艺术课程标准》和2017年版
期刊
为适应云南省高速公路运营管理近年来呈现的核心业务数据井喷新形势,云南交投集团从组织流程层面、管理控制层面、决策支持层面、信息服务层面建设支撑集团智慧高速体系的综合运营管控平台,从过去传统、被动、定性和分散的管理,转变为现代、主动、定量和系统化的管控体系。
期刊
中国传统聚落营建在漫长的探索中形成了深厚的历史积淀,传统聚落留存至今宛如史籍般记载着前人对居住空间的探索与创造,蕴涵着历代营建者对聚落发展的深入思考与巧妙革新,是中国本土城乡建设的根脉所在。然而,优秀的传统营建经验却尚未得到深刻的认知与全面的研究,伴随着现代城镇的快速发展,逐渐与城乡建设的实践脱离开来,使聚落空间丧失了文化特色与精神内涵,正在应对严峻的发展困境。因此,发掘与传承本土聚落营建经验、联
学位
镍基高温合金粉末是军用及民航发动机涡轮盘件的主选材料,由于真空感应熔炼气雾化(Vacuum Induction Melting Gas Atomization,VIGA)技术在制备镍基高温合金粉末方面具有可控性好、产量大、球形度高和粉末细等优点,VIGA技术被广泛用于镍基合金粉末的制备。VIGA工艺核心技术部件是紧耦合喷盘,随着对粉末收得率要求不断提高,在工业生产过程中,雾化系统堵塞(也称导流管堵
学位
本文在总结国内外智慧高速公路标准现状的基础上,提出了智慧高速公路标准体系的构建目标、构建原则,构建了智慧高速公路标准体系“信息服务-全生命周期-标准层级”三维结构模型,架构了以数据为核心,基于信息服务维度以及覆盖建设、管理、运维与服务全生命周期的智慧高速公路标准体系,可以为四川省智慧高速公路标准编制提供参考。
期刊
正倒向随机方程解耦求解是最优控制理论的基础.最优控制求解分为两部分:首先利用变分法得到极大值原理,即在平衡条件下的正倒向随机方程;其次是求解正倒向随机方程,并设计最优控制器.因此求解正倒向随机方程具有重要意义.其研究开始于上世纪70年代,半个世纪以来取得了重要进展.然而注意到已有结果主要针对特殊的正倒向随机方程,而在一般时滞情形下解耦求解仍面临障碍.本文的主要贡献是提出时滞情形下一般线性正倒向随机
学位
近几十年来,随着科学技术的迅速发展,生物、医学、信息技术、金融和营销等领域的数据层出不穷、多种多样.要在如此庞杂的数据中,准确地分析出重要信息就显得尤为重要.那么,首先要做的就是对数据进行聚类.并对聚类后的每个分组数据进行建模和估计.其次,高维数据在各个领域的频繁出现,使得许多传统的统计方法失效.针对这样的聚类和高维问题,本文主要研究异质数据的聚类和估计问题,并对生物统计中的高维数据进行变量选择.
学位
学位
泌乳期是乳品理化性质及特征变化的一个重要影响因素,特别是对蛋白、脂质及其他营养素的变化影响尤为显著。驼乳是营养价值极高的天然饮品,全面解析成分组成是其功能因子研究的基础,但是对驼乳组分随泌乳期的动态变化研究鲜有深入报道。为此,本论文以驼乳为研究对象,通过测定不同泌乳期(初乳C组=1天、初乳S组=7天、过渡乳T组、常乳M组和末乳L组)驼乳基本组成、一般理化性质、热稳定性以及各IgG亚型等表型性状探究
学位
为有效推进高速公路智慧建设和智慧管理,依托在建智慧高速-杭绍甬杭绍段项目,顶层设计了高速公路工程智慧建设方案,提出了“数字化管理、指尖上生产、可视化监管”的智慧建设理念,构建了“智慧管理、智慧建造、智慧安管”的高速公路工程智慧建设体系,并进行了实践应用,取得成效可供类似高速公路项目在施工阶段开展智慧建设管理工作借鉴。
期刊