随着网络技术的不断发展和普及,各行各业在发展过程中都伴随着大量数据的产生,并且呈现数据种类繁多、流动频繁、体量变化大的特点,其中小文件存储问题是当前学界和业界急需解决的一大难题。本论文的研究方向与大数据时代的存储发展需求相契合,选择分布式存储系统Ceph作为研究对象,它具有高性能、高可靠和高扩展的性能优势和同时支持对象存储、文件存储和块存储的包容性,但是在面临海量小文件存储时却存在元数据瓶颈、内存损耗过大等问题,在对小文件的访问性能上也存在优化空间。本文针对小文件存储场景设计小文件处理架构,并对集群内部副本一致性策略进行优化,在降低海量小文件存储开销的同时提高了对小文件的访问性能。本文的具体工作总结如下:1.根据对小文件特点研究,设计了一种小文件合并算法,该算法对小文件的关联性进行提取并以此为依据对小文件进行合并,同时对合并文件内部结构进行优化,减少合并过程中的内存损耗,并在访问目标文件时,将其所在的合并文件中其余文件存入客户端缓存来提高缓存读取命中率,改善小文件的存储性能。2.对Ceph存储系统的副本同步策略进行改进,设计动态副本一致性更新策略,根据当前用户请求情况将副本同步状态分为W状态和R状态,在不同状态下使用不同的副本同步机制,如果读请求占比高则采用R状态下强一致同步策略提升数据读取带宽,如果写请求占比高则采用W状态下的异步更新副本方式降低响应延迟,使系统在面对众多小文件读写请求时能更加灵活的适应不同读写比例的请求状况,充分利用系统资源平衡读写代价,提升用户体验。根据方案设计在国产平台上搭建系统测试环境,验证优化后的小文件存储性能和副本更新策略的有效性。设计对比实验对小文件的读写速度、不同请求类型下的响应延迟和带宽进行研究,结果表明本文的方案有效的提升了小文件的存储性能,并改善了不同请求类型下的用户体验。