大规模数据集分布式存储模型LDDSS的研究与实现

来源 :南开大学 | 被引量 : 0次 | 上传用户:taiguomin
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
由于高性能计算和大规模分布式数据应用需要对输入/输出数据集进行大量共享式并发访问,本文提出并实现了LDDSS(Large-scaled Dataset DistributedStorage System)模型,以通过改进I/O操作效率来提升运算性能。LDDSS是一种大规模数据集的分布式存储结构模型,消除了传统方式对存储设备进行并发访问的多种瓶颈,并且为上层应用提供了一套透明的程序接口,在保证数据服务高可靠、高带宽且长期有效的同时,屏蔽数据分布式存储的实现乃至整个系统的工作状况,从而实现了应用程序与分布式存储系统的无缝连接。   LDDSS研究工作的贡献包括四个方面的内容:首先,实现了分布式文件系统共同的设计目标,包括:高性能、可伸缩、高可靠性和高可用性等;第二,基于更具有现实意义的前提假设,在由大量廉价硬件设备组成的存储集群中,将组件故障被视为普通事件而非异常,实现了必要的持续性监控、错误探查和容错机制,当服务器或存储介质无法工作时,能够及时地进行错误检测和快速自动恢复。第三,支持对数据集的流式访问,以满足批处理程序,并为其或上层软件结构提供足够高的聚合带宽。第四,还针对大规模数据集的特性进行性能优化,从而大幅提高数据访问的吞吐率。   在移植性上,LDDSS的实现基于Microsoft.Net Framework,独立于操作系统内核,具有良好的软硬件平台无关性。作为大规模数据集的存储层结构,LDDSS以API的形式提供服务,具有高度的灵活性,以便于应用系统的整体设计和实现。
其他文献
针对MEMS设计与加工脱节的问题,本文对MEMS工艺验证进行了研究,旨在使MEMS设计者在在进行工艺仿真以及MEMS器件加工之前,先对版图和工序进行可加工性验证,如果版图或工序是不可加
“众包”的工作方式由来已久,并且日益盛行。通过“众包”的方式,雇主可以从人群中购买服务,整合人力来完成一个复杂的工作。近些年来,“众包”方式被广泛应用于互联网中,“
5.12汶川大地震,给我国的人民、经济、交通等带来了无法估计的损失。灾区多数的建筑物、公共设施、道路等已经完全毁掉,原来地图上的一些表征已经不足以表达目前的实际情况,
随着计算机计算能力的迅速增长,网格计算已经成为分布式计算的重要研究内容。目前,以网格为基础架构的e-Science协同环境下已经集成了大量的计算资源和数据资源,这些资源大多
近年来,P2P技术随互联网技术的发展而兴起,成为网络技术研究的热点。而基于P2P网络构建的存储系统,相比传统存储系统具有如下优势:不依赖中心节点、高容错、高扩展、高效率、低成
数据分类是一种重要的数据挖掘技术,常用的数据分类方法有决策树归纳分类、贝叶斯分类、神经网络分类和K最邻近分类等,采用的理论及算法有决策树(Decision Tree)、粗糙集(Rough
随着互联网的发展,Web不仅实现了全球的信息交换和资源共享,而且Web上的信息量也成指数级的增长。一方面,海量的Web信息为用户提供了获取信息的源泉;另一方面,如何高效的从海
连续属性的离散化一般是做为机器学习、数据挖掘的一项重要的预处理步骤,针对离散化问题,研究者们提出了诸多方法,例如早期的等宽等频算法及后来的利用遗传算法进行离散化等
近年来,计算机技术已经有效地应用于部队的设备管理工作中。随着部队设备综合信息管理系统的广泛使用,各分区系统的数据量将越来越大,同时军区数据中心也积累了大量的设备维修数
人类社会发展到现在已经进入到一个知识大爆炸的时代。为了应对知识的迅速累计,将知识信息化成为了必然的趋势。信息化的一个重要的特征就是强大的知识检索功能。在各种检索工