论文部分内容阅读
由于高性能计算和大规模分布式数据应用需要对输入/输出数据集进行大量共享式并发访问,本文提出并实现了LDDSS(Large-scaled Dataset DistributedStorage System)模型,以通过改进I/O操作效率来提升运算性能。LDDSS是一种大规模数据集的分布式存储结构模型,消除了传统方式对存储设备进行并发访问的多种瓶颈,并且为上层应用提供了一套透明的程序接口,在保证数据服务高可靠、高带宽且长期有效的同时,屏蔽数据分布式存储的实现乃至整个系统的工作状况,从而实现了应用程序与分布式存储系统的无缝连接。
LDDSS研究工作的贡献包括四个方面的内容:首先,实现了分布式文件系统共同的设计目标,包括:高性能、可伸缩、高可靠性和高可用性等;第二,基于更具有现实意义的前提假设,在由大量廉价硬件设备组成的存储集群中,将组件故障被视为普通事件而非异常,实现了必要的持续性监控、错误探查和容错机制,当服务器或存储介质无法工作时,能够及时地进行错误检测和快速自动恢复。第三,支持对数据集的流式访问,以满足批处理程序,并为其或上层软件结构提供足够高的聚合带宽。第四,还针对大规模数据集的特性进行性能优化,从而大幅提高数据访问的吞吐率。
在移植性上,LDDSS的实现基于Microsoft.Net Framework,独立于操作系统内核,具有良好的软硬件平台无关性。作为大规模数据集的存储层结构,LDDSS以API的形式提供服务,具有高度的灵活性,以便于应用系统的整体设计和实现。