随着互联网的高速发展与全球网民数的激增,网络服务的数据量以指数增长。如何提高对海量数据的存储管理与访问能力,成为了业界研究的一个热点问题。在海量数据面前,传统的关系型数据库模型因缺乏系统的高可扩展性,而逐渐被放弃。继而涌现出了许多非关系型的分布式数据存储系统。这些系统更多的是从分布式架构上出发提高系统可扩展性以及数据存储和访问能力,而忽略了数据的底层数据存储结构在提高数据IO效率上的作用,也忽略了小数据读写可能引发的磁盘磁头频繁移动的问题。本文首先介绍了研究动机,然后对当前主流的分布式存储系统与P2P系统进行了分析与学习,并结合小数据存储的特点,设计了一个具备高可靠性、高可扩展性的分布式小数据键值存储系统MSDSS。本文的主要工作与创新点有以下几点:第一借助改进型的一致性哈希算法与虚节点技术构建了一个具备高可扩展性的键值存储系统架构。这种架构保证了数据在系统中的分散存储,并解决了存储节点的异构性问题。第二使用定位表的方法,实现同一集合中数据在物理上分段聚集存储,为该集合中数据提供了高速的数据浏览支持。第三使用数据混写技术,在存储服务器上,采用写缓存策略,将缓存的小数据集中混写到一个临时文件,以提高整个系统的服务能力。第四使用chubby技术,监控系统中服务器的在线情况。当系统中服务器上下线时,其他服务器可以较快获得通知,提高了系统的可扩展性。第五使用了merkle tree技术,高效检测系统中副本数据的一致性,降低了网络中系统控制信息的流量。最后简化实现了MSDSS,并在功能与性能上对系统进行了测试。测试结果表明,在面对大量数据请求时,数据混写可以在数量级上降低用户修改数据的响应时间;数据聚集存储可以在数量级上降低用户浏览集合内数据的响应时间。