【摘 要】
：
随着计算机技术的飞速发展,各领域存储系统中的数据存储量迅猛上升,而其中的冗余数据也呈不断增加趋势。以往的研究表明,某些存储系统中的冗余数据已达60%,其存储管理成本较
【机 构】
：
北京交通大学计算机与信息技术学院;
【基金项目】
：
中央高校基本科研业务费专项资金资助项目(2015JBM034)
论文部分内容阅读
随着计算机技术的飞速发展,各领域存储系统中的数据存储量迅猛上升,而其中的冗余数据也呈不断增加趋势。以往的研究表明,某些存储系统中的冗余数据已达60%,其存储管理成本较高。处理冗余数据已成为目前存储系统研究的热点。为此,提出了一种基于Simhash的中文文本去重方案。该方案采用数据块作为粒度对重复数据进行去重处理,主要是将中文文本中的"。?!"等特殊字符作为分割点,对数据进行相应的分块处理,并以Simhash作为唯一标识,通过海明距离(Hamming Distance)来判断其相似性并以此为依据进行数据去重。对比验证实验结果表明,相比于传统的hash去重技术,提出的基于Simhash的去重方案具有更高的去重率和准确率,展现了较好的应用价值和应用前景。
其他文献
指出了旅游扶贫问卷调查表的设计和制作有助于对调研的对象、调研的内容、调研基本情况的进行并取得第一手资料,对于今后旅游扶贫项目的开发和重点工作的深入都具有重要的意
<正>泌尿系结石是临床常见的泌尿系疾病之一,包括肾、输尿管、膀胱和尿道结石,祖国医学依据其临床表现的不同,分别归属于"腰痛"、"砂石淋"、"腹痛"、"血淋"等范畴。其形成的
近年来，基于图像处理的交通信息检测技术成了交通领域研究的热点。作为交通信息检测的重要组成部分，图像处理的车速检测系统有着广泛的应用前景。因此，进行车速检测方法的研究具
企业竞争能力综合评价的理论与方法（四）──企业竞争能力统计综合评价方法体系王伯安评价指标体系提供了从多侧面反映企业竞争能力的基础数据。下面通过综合评价的方法，可将各指
应用叶绿素荧光测定技术分别测定香樟8个无性系的叶绿素荧光参数。结果表明:无性系Pc-2、Pc-1、Pc-706的叶绿素仪测定值(SPAD)、可变荧光(Fv)、最大荧光(Fm)、PSⅡ最大光化学
党的十八大以来,习近平总书记就创新发展形势、创新发展重点、创新体制改革、创新人才发展等四大方面,提出"我国已经成为具有重要影响力的科技大国,但总体上科技创新基础还不
在简要分析了校园建设概况、校园绿地的功能和分区、校园绿地改造的原因后,提出了校园绿地改造的原则和步骤,分析了春花植物、秋色叶植物、新优品种、名花名木、岩生植物教学
《温病条辨》系清代医家吴鞠通所著,其对温病的辨治有独到之处,如温病后期,热羁下焦,消灼肾阴,其治以滋肾法为主,并针对病机演变,而分别辅以复脉、填精、敛汗、止涩、泻火、
目的观察针刺结合康复训练综合治疗早期中风偏瘫患者的疗效。方法中风偏瘫患者144例,随机分为药物组、康复组、针刺结合康复组,给予相应的治疗3个疗程,后采用Barthel指数评分
指出了我国城镇污水问题,包括污染类型复杂,基础设施建设严重滞后。其中,绝大部分城镇的污水缺乏必要的污水收集系统和污水处理设施,从深度处理、能源回收等方面提出了相应的