【摘 要】
:
大数据、人工智能、区块链等新兴技术的快速迭代,正在加速全球数字化转型。数字化时代基于数字、面向数字的数据量呈指数级增长,导致数据存储及索引技术面临巨大挑战。而现有的数据存储技术存在难以扩展、硬件成本高、数据有效连通性不足等问题,难以满足数字化时代海量数据的存储和索引。为此,本文基于16-bit Trie树结构提出了一种数据压缩存储结构,并完成对数据快速索引和排序,具体研究内容如下:首先,基于16-
论文部分内容阅读
大数据、人工智能、区块链等新兴技术的快速迭代,正在加速全球数字化转型。数字化时代基于数字、面向数字的数据量呈指数级增长,导致数据存储及索引技术面临巨大挑战。而现有的数据存储技术存在难以扩展、硬件成本高、数据有效连通性不足等问题,难以满足数字化时代海量数据的存储和索引。为此,本文基于16-bit Trie树结构提出了一种数据压缩存储结构,并完成对数据快速索引和排序,具体研究内容如下:首先,基于16-bit Trie树结构提出了一种16-bit Trie树压缩结构,该结构引入动态数组和词缀压缩方法优化了Trie树的空间性能。对内存进行分类管理,失效的空间不直接释放,而是回收到相同类型的内存块中等待继续使用,不仅解决了动态数组频繁申请、释放内存产生内存碎片的问题,还提高了系统内存分配速度。实验结果表明,与16-bit Trie树结构相比,16-bit Trie树压缩结构的构建速度快了1.4倍;与红黑树相比,构建速度提高了21%左右;与B+树相比,构建速度加快了25%。在此基础上,本研究实现了一种支持快速检索的16-bit Trie树压缩结构的索引算法,该算法结合了快速索引和高效空间的双重优点,可以共享字符串前缀,具有高效的查询效率,其时间复杂度为O(n),n表示字符串的长度,使用词缀压缩方法可以在保证结构紧凑的同时提高数据查询效率。实验结果显示,与16-bit Trie树索引算法相比,16-bit Trie树压缩索引算法节约了3.7倍的空间,索引性能提高了25-30%;与红黑树相比,16-bit Trie树压缩索引算法尽管空间效率降低了18-25%,但是索引速度快了40%;与B+树相比,16-bit Trie树压缩索引算法花费几乎相近的空间,索引速度提高了25%左右。最后,本文基于16-bit Trie树压缩结构提出了一种高效的排序算法,该算法包括16-bit Trie树压缩结构和有序链表两个部分,通过树形结构保存了数据的有序位置,再借助Trie树减少比较次数完成数据排序,不仅实现了边构建边排序,而且支持数据动态添加,在降低数据稀疏性的同时保持了排序效率。实验结果显示,传统Trie树支持数据动态更新,但通过遍历Trie树的方式完成排序耗时较多,快速排序算法在数据动态增加时效率很低,16-bit Trie树排序算法支持数据动态更新,排序时间明显少于传统Trie树,优于快速排序,这表明16-bit Trie树排序算法在处理大规模动态数据时具有突出优势。
其他文献
目前,电力大数据作为反映人们日常生活习惯的一项基本指标,在空巢用户电力数据使用上的研究存在一定空白,因此本文从空巢用户群体识别、空巢用户用电行为分析和空巢用户异常用电三方面展开研究。在用户群体识别部分,本文建立了基于加权随机森林的空巢用户识别模型。从用电水平、用电波动、用电趋势三个方面构建用户用电特征库,由于空巢与非空巢存在用户数据不平衡问题,采用加权随机森林算法改善机器学习对数据敏感的现象,并将
近壁空泡溃灭时会辐射冲击波,并产生高速射流,对附近壁面产生冲击作用,是空泡动力学的研究热点。通过对近壁空泡溃灭动力学行为的研究,可以更好地掌握空泡的溃灭特性,以便于开发完善相关的测量仪器仪表。本文通过实验研究了不锈钢刚性细丝附近空泡溃灭的动力学行为,激光空泡的最大半径恒定为Rmax=0.66mm。文中的三个重要参数为:无量纲丝径ξ(丝径与Rmax之比)、无量纲近壁距离γ(空泡至刚性细丝表面之间的距
静压气浮转子以可压缩气体作为润滑介质,具有摩擦和磨损近乎为零、回转精度高和转速快等诸多优点。目前已经被广泛应用于超高速和超精密加工设备中,作为关键部件之一,静压气浮转子的性能直接关系到零件的加工质量。本文采用有限元法求解静压气浮转子内润滑气体的非线性稳态雷诺方程,研究了节流参数(平均气膜厚度和节流孔直径),操作参数(转速、偏心率和供气压力)和表面加工误差(正弦波纹、方波波纹、三角波纹和锯齿波纹)对
沥青罐和粉料罐是拌合站的重要物料储存装置,为拌合站的日常生产不断的供应物料,罐体的储存环境和库存量直接影响到拌合站的生产质量。针对目前拌合站料位监控存在的料位测量误差较大、监测数据碎片化和物料质量计算误差较大的问题,本文分析了单法兰压力传感器和重锤式料位计的工作原理,结合物联网和云计算技术,设计了一个基于云平台的拌合站沥青罐和粉料罐料位监控系统,并根据沥青罐和粉料罐的物料特点,建立了不同物料环境下
圆形电连接器具有良好的封接强度,高性能的弯曲强度以及良好的气密性等优点,被广泛的应用于各个领域。电连接器主要起到电源连接、数据连接等作用,因此它的可靠性尤为重要,需要在生产过程中检测出不合格产品并剔除。由于目前尚无检测圆形连接器的好方法,因此大多数企业采用人工肉眼检查方法,该方式存在效率低下,容易受个人主观因素影响,无法连续工作等问题。针对以上问题,本文设计并开发了一套基于机器视觉的圆形电连接器缺
非侵入式负荷监测系统作为电力用户需求端重要的数据信息分析系统,其识别结果不仅可以及时反馈用户,指导用户合理用电,也有利于电网公司进行智能电网系统规划、用户负荷优化管理。非侵入式负荷识别技术的研究对实现电力公司和电力用户的双向互动具有积极作用。因此,非侵入式负荷识别技术具有重要的研究价值和现实意义。本文采集了实验室智能电表的电气数据用于负荷分析,对家庭负荷类型进行了分类,依据负荷特性制定了负荷识别总
城市自来水管网是我国供水系统中重要的公共基础设施。近年来,解决管网的漏损已经成为各政府部门和供水公司为保障居民正常用水所要面临的迫切任务。埋地自来水管由于长期受到地底土壤以及雨水渗透的腐蚀,极易发生管体泄漏,导致水资源的浪费以及影响周围居住人民群众的正常生活。本文基于分布式光纤拉曼测温原理,以城市埋地自来水管道作为研究对象,研究了分布式光纤测温系统在城市埋地自来水管泄漏点定位的应用。主要工作如下:
金属漆色漆层中掺杂的铝薄片使漆膜表面在特定的观察和照明条件下呈现出绚丽的视觉效果。这一效果被描述为金属漆的表面纹理,从两个方面描述:表面闪光效果和表面颗粒效果。铝薄片的无序排列导致这种特殊的视觉效果难以被仪器准确的测量。研究金属漆表面纹理的评价方法,对规范该类产品的工业生产,制造和应用具有重要的意义,如何定量评价金属漆的纹理效果是研究热点之一。本文希望开发出应用于金属漆纹理效果的评价方法和测量装置
碳纤维增强树脂基(CFRP)复合层压板具有各向异性、非均质性等特点。在实际工程应用中,复合材料的螺栓连接形式由于其连接强度高,成为飞机复合材料结构中常用的连接形式之一,而该连接方式不可避免需要使用一些开孔结构的复合层压板,且开孔处往往是容易产生失效的位置,因此本文以开孔复合层压板为研究对象,从其力学性能和失效特性两个方面展开研究。论文的具体研究工作如下:针对不同开孔复合层压板的铺层结构,研究分析载
<正> 神经衰弱是脑力劳动者中一个比较普遍的病症,同时也是一个没有特效疗法的病症。当然神经衰弱的防治原则应从调节内外环境的整体观点着手,但是已经形成了头晕、头痛、耳鸣、眼花、失眠、多梦、心悸、健忘、精神萎靡等属于显著衰弱性的症状时,给予对症的药物治疗还是非常必要的。如果能与改善内外环境同时配合进行,很有可能根本解决问题。因此作者在向科学进军的鼓舞下,特从祖国医学遗产中,用心钻研,而初步制立这个“鸡