目前大数据是科技领域最热门的话题之一,其基础就是数据。而随着信息技术的快速发展,数据总量每两年就要翻一番,这种指数型的增长趋势使得存储提供与存储需求之间的差距越拉越大。而研究表明备份归档、版本管理、邮件等企业系统中存在着大量的重复数据,这些数据的传输和存储极大地增加了企业成本。重复数据删除技术通过在全局范围内对文件内部、文件间的重复数据进行检测和消除,可以有效的减少企业对存储硬件设备的开销和运营成本。目前重复数据删除研究领域仍然存在诸多问题具有研究价值,如提高去重率,索引设计,数据可靠性等。本文针对基于相同数据检测的重复数据删除技术在存储系统中的应用进行了研究与实现。通过分析和实验对文件进行了基于类型的数据集划分,对不同数据集使用不同切块算法。实验表明,此方法在提高系统性能的同时对去重率的影响非常小。在使用切块算法的系统中,大多数研究者借鉴了一种使用容器存储数据块的策略。但随着时间推移,具有相关性的数据块集合会越来越离散地存储在不同容器中,造成数据块局部性降低。本文提出了一种基于数据块指纹流与容器指纹相似性的算法,可以有效地将相关性较高的数据块指纹联系在一起,使得指纹查询的局部性提高。并通过分类索引、多级索引、多线程、布隆滤波器等技术来提高指纹查询的速度。针对使用重复数据删除技术后数据可靠性降低的问题,提出一种企业存储服务器与云存储相结合的方案,可以简单有效地提高系统可靠性。