【摘 要】
:
当今,高性能计算领域的科研进展如火如荼,处理器计算速度突飞猛进,TOP 500超级计算机的角逐也是日新月异。但随着计算能力的与日俱增,超算集群中网络子系统的瓶颈逐渐显露,传统以太网络因性能低下和管理复杂等原因逐渐退出HPC(High Performance Computing)的历史舞台,另一方面,以高带宽、低延迟著称的IB(InfiniBand)网络横空出世,受到了 HPC领域广泛地欢迎与应用。
论文部分内容阅读
当今,高性能计算领域的科研进展如火如荼,处理器计算速度突飞猛进,TOP 500超级计算机的角逐也是日新月异。但随着计算能力的与日俱增,超算集群中网络子系统的瓶颈逐渐显露,传统以太网络因性能低下和管理复杂等原因逐渐退出HPC(High Performance Computing)的历史舞台,另一方面,以高带宽、低延迟著称的IB(InfiniBand)网络横空出世,受到了 HPC领域广泛地欢迎与应用。IB网络历20余年发展至今已达到200Gb/s的速度,另一方面,研究者们也逐渐认识到网络监控的重要性,于是UFM和INAM等着眼于IB网络监控诊断的工具接踵而至,然而由于开销和扩展性等各种原因,它们并不适用于大规模计算集群的高频采集情景,所以,本文在综合考虑之下,设计了一套面向集群系统的网络监控分析与诊断工具IBMaster。本文的IB网络监控系统主要包括采集、存储、预处理与分析共四个子系统。1)数据采集:该模块包括五种类型数据的采集,它们分别是:基于本地内存文件的网卡性能采集工具;基于perfquery指令的交换机性能采集工具;基于子网管理器服务接口的拓扑与链路结构采集工具;基于子网管理器及其代理的事件与告警日志采集工具;以及基于子网管理器Dump日志的路由矩阵与转发表采集工具。2)数据存储:本文调研了若干数据存储介质的优劣势,并依据本系统中的存储场景,最终选择了五种介质相结合的复合存储方式。它们分别是:C语言实现的轻量级转发工具Fluent Bit;具有极高读写性能的分布式数据库InfluxDB;用于存储预处理数据的轻量级文件数据库SQLite;作为SQLite冷数据存储的文件I/O(Input/Output);以及基于内存存储的Key-Value数据库Redis。3)数据预处理:由于InfluxDB中存储的源数据体量庞大,分析模块的一些复杂功能若是从源数据开始处理,将会产生不少的开销与延时,不利于向用户实时地展示,因此,本文增加了后台预处理模块,该模块将会不断地摄入源数据,处理后生成更简约的数据格式,并存储到SQLite数据库中,这样复杂一些的分析功能便可直接查询SQLite来提供实时可视化展示。4)数据分析:该模块将会基于采集到的各种数据,对InfiniBand网络进行实时地分析与诊断,包括一般性的流量与系统负载分析;网络拥塞以及基于拥塞的路由与信誉环路分析;以及网络异常与安全风险等异常检测与诊断。这便是集高频采集、低开销、实时性和可扩展性于一身的网络监控工具IBMaster。
其他文献
边境地区是国家反贫困的重点区域之一,振兴边境是我国长期以来的重点工作。同时,沿边地区大多是民族地区,边境地区发展对加强民族团结、增进民族和谐具备重要意义。近年来,边境旅游逐渐成为边境地区经济发展的重要手段,其中,边境地区居民是重要的利益相关者,其获得感是边境旅游发展的直接效果,提升居民获得感是边境开发的立足点和落脚点。当前对于获得感在旅游领域的研究还比较匮乏,尤其以边境地区居民为研究视角进行讨论的
自2017年以来,我国资产证券化市场规模持续增长,创新品类层出不穷,参与主体多元多样。资产证券化针对具有稳定现金流的标的企业,帮助其未来资产提前变现,释放其重资产风险。纵观房地产行业,其自身具有流动性低、变现能力差及非证券形态等行业特征。将这类资产转变为证券化资产进行交易,这就是资产证券化的品类之一----房地产证券化。作为房地产证券化最具代表性的手段之一,房地产信托投资基金(Real Estat
震害调查表明,软土震陷引发的桩基负摩阻力导致了严重的震害,造成了大量的经济损失,在工程设计中也是不容忽视的问题,但现阶段对软土震陷引发的桩基负摩阻力机理及发展规律认识还不够清楚,相关研究还需进一步加强。本文通过直剪、动三轴和振动台等试验手段对桩基负摩阻力开展了研究。依据相似理论,通过动三轴试验、直剪试验结果研究得到了符合软土动力特性和抗剪强度的两种重塑软土配比,进而通过重塑软土震陷引起的单桩负摩阻
该文对4种降血糖药食同源原料(桑叶、葛根、桔梗、枸杞)的活性成分及其作用机制进行综述,将目前市场上的降血糖食品及研究进展进行汇总,指出药食同源降血糖食品开发前景和方向,以期为药食同源原料在降血糖产品中的应用提供理论基础。
虚拟社区在互联网的发展中占有非常重要的地位和作用,以微博超话、百度贴吧为代表的虚拟社区日益发展成熟,且随着近年来网络游戏繁荣发展,游戏社区在虚拟社区中占有非常重要的位置。在网络游戏虚拟社区中,粉丝群体具有区别于其他粉丝群体的显著特征,粉丝文化不断丰富和发展,粉丝群体展现出极强的文化生产力和创造力,成为社区互动重要的组成部分。互联网环境下粉丝群体在社区中可以通过虚拟的身体在场完成互动仪式,他们在社区
清代是我国封建历史上最后一个君主集权专制王朝,幅员辽阔,人口众多,传统法律制度的发展也推向了最高峰。清代刑事审转制度是针对重大刑事案件的一项程序性规定,具体是指,人犯被判处徒、流、死刑的重大刑事案件,经州县初审后,需逐级向上级衙门申报复审,直至有审结权的级别批准,判决才能正式生效。审转制度是清代重大刑事案件审判活动运行的主体框架,更是推动整个审判过程前进的重要制度性规定,在清代重大刑事案件的司法审
背景:大学生群体承受着学业、社交、就业等多方面重荷,由此滋生的过度压力、焦虑、抑郁等负性情绪,进而导致了该群体心理健康问题频发,自杀事件时有发生。如何有效地减少大学生负性情绪也成为了学界研究重点。大量研究发现身体自尊和整体自尊在体育活动与负性情绪之间的作用值得探讨。目的:探究体育活动、身体自尊、整体自尊和负性情绪之间的相互作用关系,并检验身体自尊和整体自尊在体育活动与负性情绪之间是否存在链式中介作
2022年2月,二十一世纪第十九个中央一号文件提出,无论什么时候都要稳定农业,发展农业,把三农工作做好,做到农业增产、农民增收、农村安宁,推动经济平稳向前发展,乡村振兴建设作为国家重大发展战略持续推进。农业发展、农村进步、农民富裕仍然是乡村振兴的重要抓手。“上边千条线,下边一根针”很好的诠释了农村基层组织中村干部的定位,他们在农村执行党的政策,是党中央和群众之间的纽带,是党和国家“三农”工作最直接
随着云计算,边缘计算与内容分发网络的快速发展,越来越多的内容服务提供商选择购买使用基于云边缘的内容交付网络。对于内容服务提供商来说,为了扩展网络范围,降低成本,他们可以选择在不同的地区分别租用不同的云服务器和边缘服务器并购买一定的初始带宽容量来搭建内容交付网络,并可将最终用户的请求重定向到任何服务器进行调度。然而,为了保证经营的可持续性,他们需要在重定向时同时考虑货币成本和用户服务质量两个方面的问
党和国家高度重视学生体质健康,习近平总书记提出,“少年强中国强,体育强中国强”,并号召全国广大青少年学生积极投身体育锻炼,做到德智体美劳全面发展,成为祖国建设的栋梁之材。当前,学生体质健康状况是高校体育工作的重要评价指标,《国家学生体质健康标准》测试成绩是学生体质健康状况好坏的最直接体现。如何科学准确的分析评价《国家学生体质健康标准》测试成绩,促进学生积极投身体育锻炼,是培养德智体美劳全面发展的社