【摘 要】
:
并行分布式文件系统中节点达到一定规模时,大量I/O请求竞争I/O资源,造成类似网络拥塞的I/O拥塞,导致I/O吞吐率下降和I/O延迟不可控。本文以Lustre分布式文件系统为应用场景代
论文部分内容阅读
并行分布式文件系统中节点达到一定规模时,大量I/O请求竞争I/O资源,造成类似网络拥塞的I/O拥塞,导致I/O吞吐率下降和I/O延迟不可控。本文以Lustre分布式文件系统为应用场景代表,对I/O拥塞控制进行研究。现有Lustre设计对大规模集群下的I/O拥塞问题考虑不足,没有对I/O请求进行有效管控,使得集群整体的效率不高。手动地对集群的存储系统进行I/O拥塞控制在HPC领域的实际应用中不够灵活,尤其是当存储系统的规模达到艾级(Exascale)时,更是难以实现。因此,有必要对自动I/O拥塞控制机制进行研究,保证全局自适应服务质量。提出一种自动I/O拥塞控制机制AIOCC(Automatic I/O congestion control)。在服务端设计了一种以提高应用I/O效率为调度目标的I/O请求调度策略,使用TBF策略实施调度过程,并将令牌分配值反馈至客户端;在客户端设计了一种动态调整I/O请求发送数量和速率的拥塞窗口控制机制,自适应地根据集群的拥塞状况调整I/O请求发送窗口,并基于应用粒度根据拥塞状况分配I/O请求发送窗口。同时,在服务端和客户端使用深度Q-learning方法优化I/O拥塞控制参数。在AIOCC机制的控制下,可以根据Lustre集群当前的运行状况,自动地调整服务端请求调度参数和客户端请求发送窗口控制参数,以降低Lustre集群中I/O拥塞对系统I/O吞吐率和I/O延迟性能的影响。实验结果表明,AIOCC能大大降低Lustre集群中由I/O拥塞对I/O吞吐率和I/O延迟性能造成的影响。对比现有Lustre集群系统,AIOCC能使写操作为主的负载I/O吞吐率提高34.82%,I/O延迟降低26.17%。
其他文献
文章主要介绍了配热电偶用温控仪的工作原理,规程JJG 617—96规定的检定方法以及实际在现场校准的三种不同方法,举例对配不同型号的热电偶﹑不同的环境温度以及不同的校准温度
本文对美国南方著名女作家弗兰纳里·奥康纳的短篇小说进行了文本剖析。奥康纳作品富于南方韵味、南方情致;其主题寓意深刻,涉及社会、宗教、种族、文化诸多方面;人物塑造别
关于建筑教育的讨论往往会聚焦在教案、教程和教学法方面;本文将讨论重点引向建筑教育思想、建筑学知识主体的问题,引发关于建筑学的讨论。通过对历史事实的分析,指出当前和
在高等教育研究的学术语言表达上,追求晦涩难懂甚至玄乎其玄的表达方式,或者“唯实证”而“抑思辨”的高等教育研究方法观,都是将方法从手段上升到目的的偏颇观点。作为一种
背景:结直肠癌(Colorectal Cancer,CRC)是人类目前最常见的消化系统恶性肿瘤之一,在我国,目前仍以直肠癌居多。在NCCN、ESMO、中国结直肠癌诊疗规范等指南均将手术治疗作为直
理性主义是西方哲学中的一个重要概念,从古希腊哲学开始到现代西方哲学,理性主义在哲学家的肯定与否定中发展。作为教育学的哲学基础,理性主义影响了教育及教育学理论的建构
随着审计抽样技术的推广和应用,抽样风险已经为注册会计师所关注。本文依据独立审计原则,从样本容量、样本选取和样本结果评价三个方面论述了对抽样风险的控制,并以平均值估
目的观察综合护理对甲状腺癌患者根治术围术期效果的影响分析。方法选取本院2017年1~12月收治的61例确诊为甲状腺癌拟行根治术患者作为对照组,本院2018年1~12月收治的67例确诊
通过对技术符号、句法符号和语义符号的概念辨析和引例说明,指出在后工业社会的结构转型过程中,英国建筑符号呈现出有机式整合、互惠式生成、可持续发展的生态审美特征。并以
亲密关系是人类的基本需求,对于人类的心理健康和适应至关重要,也是身心功能健康的重要预测指标。已有研究表明,自我表露可以促进人际交往中亲密关系的产生,也是增进亲密关系的重要方法;共同反刍作为一种特殊的表露方式,指的是人际关系中的双方过度地讨论自己或对方困扰问题的行为。作为人际关系中的新概念,关于共同反刍的研究日益受到国内外学者们的关注。与反刍思维不同的是,共同反刍对心理健康可能同时具有消极影响或积极