【摘 要】
:
当今,Hadoop集群在大数据时代下已经广泛使用,互联网公司对数据的处理和分析广泛使用Hadoop集群。一旦Hadoop集群失效,会导致数据的丢失,带来工作上的不便,甚至带来重大的经
论文部分内容阅读
当今,Hadoop集群在大数据时代下已经广泛使用,互联网公司对数据的处理和分析广泛使用Hadoop集群。一旦Hadoop集群失效,会导致数据的丢失,带来工作上的不便,甚至带来重大的经济损失。对国家和个人来说,Hadoop集群的可靠性始终是一个令人头痛的问题。所以,Hadoop集群的可靠性研究是十分必要的。在整个Hadoop集群中,主要包括若干个数据节点和主节点。在对节点的可靠性分析时,软件的失效主要与负载有关,所以本文使用Cox比例风险模型来描述节点失效率与负载(累积负载和瞬时负载)的关系。在Hadoop集群运行中,随着节点失效从而会导致软件降级。所以,Hadoop集群的失效过程可以看成非齐次马尔可夫过程(NHMP)。该过程中,软件的负载随着时间的变化而变化,不是固定不变的。该过程可以分为若干个非连续的非齐次泊松过程(NHPP),该过程用来描述每个节点失效前的系统可靠性过程。在此基础之上,文中对Hadoop集群的可靠性进行了分析。本论文提出的集群可靠性模型能够用于集群的设计与研究。最后,作者进行了一个评估实验展示了该方法的可行性。
其他文献
为了获取更好的性能,传统的linux设备驱动运行在内核空间,可以方便的取得内核的服务,但是这也造成了系统可靠性的降低,而随着硬件技术的快速发展,可靠性越来越成为制约系统发展的
随着手机的普及以及互联网的不断发展,图像的使用量大大增加,图像的像素数量以及图像的质量也逐渐提高,如何更加快速地处理图像成为了图像处理领域的一个重要研究方向。由于数字图像信息的连续性,图像中存在着大量的冗余信息,许多相邻像素具有相似的颜色和纹理。图像超像素分割是提高图像处理速度的一个重要手段,它将相邻的相似像素作为一个整体称为超像素,超像素取代像素作为图像处理的基本单元,由此可以提高图像处理的效率
程序的等价测评技术在当今软件领域有着广泛的应用范围,在计算机学科基础教育领域中,如程序作业的测评、程序设计的在线考试、代码抄袭判定等。国内外比较常见的有基于程序属
由于点云在虚拟现实、机器视觉、医疗技术、数据可视化等领域中具有更广泛的应用前景,随着点云设备的普及,给基于点云的面绘制方法的研究带来了新的挑战和机遇。为此,本文基于三
随着现代计算机系统的发展以及计算机软件在社会各领域中的广泛应用,软件的规模不断扩大,复杂度越来越高,不免会存在一些缺陷。随着社会生产生活的日益信息化,人们对软件功能
信号发生器广泛应用于电子电路、工业生产和科学工程领域,随着科学技术的发展和测量技术的进步,对信号源的频谱纯度、频率稳定性、带宽范围以及信号波形的种类等提出了越来越
互联网的飞速发展导致了“信息爆炸”这个现象的出现,人们想要获得自己需要的信息的复杂度越来越高。传统搜索引擎的出现给人们的生活和工作带来了很大的便利,但是随着互联网产
随着多媒体信息技术的快速发展和互联网的日益普及,数字图像信息海量增长,图像的存储和管理已经成为一项繁重的工作。如何从庞大的网络图像库中快速而准确地找到用户所要查询
目前,在玻璃生产过程中,配合料的加热、熔融和硅酸盐的分解以及玻璃液的澄清都是在熔窑内进行的,这种生产工艺已成为制约玻璃工业生产的瓶颈,具体表现在两个方面:一方面生产规模受
近年来,随着农业结构调整和居民消费水平的提高,生鲜农产品的产量和流通量逐年增加,全社会对生鲜农产品的安全和品质提出了更高的要求。冷库是生鲜农产品储存的基础设施,目前国内