基于深度学习的海量数据近似计算关键算法的研究与实现

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:kaless
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息技术的快速发展,数据量呈爆炸性的速度持续增长,使得传统的数据库系统软件与数据计算技术难以在交互式响应时间内对用户查询进行分析、计算和处理。而在具体的决策分析任务中,用户通常只需要从数据中获取大致的趋势,不要求精确的结果。因此,以近似查询处理、查询负载预测以及查询语句预测为代表的海量数据近似计算算法因能够提升查询计算任务的处理效率而受到研究者的广泛关注。然而,在实际的数据处理过程中,海量数据近似计算算法面临着诸多的挑战:(1)海量数据的分布不均匀,存在严重的偏斜问题,从而影响查询结果的准确性;(2)查询负载随时间动态变化且难以被有效预测,致使数据库管理系统无法及时优化;(3)用户大都存在模糊查询问题且相邻查询之间往往存在一定的时间间隔而未能有效利用。针对上述问题,本文采用深度学习技术,以近似查询处理、查询负载预测和查询语句预测为核心,对海量数据近似计算算法展开研究。本文主要的研究内容可概括如下:1.针对近似计算领域中出现的由于数据偏斜所导致的查询准确率低的问题,提出了一种新型的近似查询处理算法。首先,以条件生成对抗网络为核心建立样本生成模型,并融入条件变分自编码器,保证算法执行的稳定性。其次使用Wasserstein距离衡量模型误差,防止模型坍塌。最后,将该生成模型与聚集预计算相结合,构成高效的近似查询处理框架,更加准确、快速地回答交互式查询。实验结果表明,与其他近似查询处理算法相比,该方法可以有效地克服数据偏斜的影响,同时能够在更短的交互时间内更加准确地回答用户查询。2.针对近似计算领域中查询负载难以有效预测所导致的数据库管理系统无法及时优化的问题,提出了一种新型的查询负载预测算法。首先,对历史查询数据预处理,构建查询负载序列。其次,以时间卷积神经网络为核心建立时序预测模型,高效地提取查询负载数据的历史变化趋势及自相关性特征;同时,融入设计的时域注意力机制,对查询负载序列进行重要性加权,保证模型的分析计算效率,提升预测算法性能。最后,基于上述时序模型,充分利用查询间隔时间完成对未来查询负载的精确预测。实验结果表明,本文设计的查询负载预测算法可以快速的实现对未来查询负载的有效预测,且该算法的预测精度显著优于其他对标算法。3.针对近似计算领域中出现的模糊查询以及查询间隔未利用的问题,提出了一种新型的查询语句预测算法。首先,采用过滤、分域、提取及编码等技术对历史的用户查询数据进行预处理,得到便于网络模型分析训练的查询语句序列。其次,以时间卷积神经网络为核心建立时序预测模型,且融入一维卷积及长短期记忆网络,分别从时间与空间两个维度提取查询语句序列的相关性特征及历史变化趋势,并充分利用查询间隔时间完成对未来查询语句关键内容的精确预测。实验结果表明,与其他查询语句预测算法相比,该方法可以在较短的时间内更加精确地预测未来查询语句的关键内容。4.本文基于上文所提出的新型的近似计算领域内的关键算法,结合用户市场需求,开发了一款集近似查询处理、查询负载预测以及查询语句预测等功能于一体的海量数据近似计算系统。
其他文献
高熵合金和中熵合金因其出色的力学性能和优异的物理化学性能而备受关注;梯度材料因其先进的设计思想和广阔的应用场景成为材料科学研究的热门课题。通过激光3D打印技术,将高熵合金与中熵合金有机结合起来,以得到具有优异综合性能的高/中熵合金梯度材料,具有非常大的发展潜力。本文利用激光熔化沉积技术(LMD)制备出成型良好,具有明显过渡梯度的CrMnFeCoNi/CrCoNi梯度合金,并对CrMnFeCoNi/
学位
天线罩作为航空航天飞行器的一个重要组成部分,其材料除了应具备良好的介电性能以保障信号的高效快速传输外,还应具备良好的力学性能以保证其能够在太空复杂环境中正常工作。本文在分析了国内外复合材料常用的树脂材料和纤维材料的基础上,结合国内外学者对石英纤维增强复合材料的研究现状,在保证材料具有高介电性能的前提下,选择石英纤维作为增强材料,氰酸酯树脂作为基体材料,构建得到编织复合材料。通过建立石英纤维和氰酸酯
学位
高熵合金作为一种新型的金属材料与传统合金体系有很大差别,它特殊的晶体结构和元素组成使其具有更优异的性能,例如高强度、高硬度、高稳定性、耐腐蚀性能和耐高温氧化性能等,成为了广大研究学者的研究热点。由于铸态高熵合金在制备过程中形成的组织比较粗大,会出现疏松疏孔、应力集中等缺陷,因此对铸态高熵合金进行冷变形后采用热处理工艺可以调控其组织和性能,改进高熵合金的强度和塑性,使合金发挥更大的应用潜力。除此之外
学位
审计作为独立第三方在增强资本市场与投资领域的信任度、促进世界经济繁荣上扮演着不可或缺的角色。随着资本市场的发展繁荣,我国的注册会计师审计行业规模也在不断扩大,随之而来的是会计师事务所的低价竞争、从业人员能力的参差不齐以及审计质量的难以保证。风险导向审计是当今主流的审计方法,识别、评估和应对重大错报风险是注册会计师实施审计工作的主线。而识别和评估重大错报风险是审计工作流程的起点,将在很大程度上影响审
学位
21世纪已经过去了将近20年,世界日新月异。学习的方式也在不断发生改变,仅仅习得知识不足以满足学生的需求,也不足以帮助学生适应如今高度全球化的社会。学生需要掌握一些关键的技能,如批判性思维,问题解决,创新,沟通合作等等以适应未来的生活。教师应该在课堂上开展适合21世纪社会环境的教学。笔者自2018年起担任上海市长宁区少年科技指导站科普英语项目老师,组织了若干次覆盖小学、初中、高中学段的科普英语实践
学位
学位
当代社会,伴随着社会结构的不断变革,现代化、个体化的漫溢日趋强烈。从研究对象到研究视角,民俗学的研究语境也不断发生着变化,日益呈现出多维度的研究范式。其中,在非物质文化遗产语境下,民间艺术备受学界关注,但对女性主体的实践关注不足。不论是在民间艺术的传承还是再生产中,女性都是具有显在占比的,其艺术实践是不应被忽视的。从民俗学视角出发,站在实践主体的角度来考察农民画,以女性农民画家的艺术实践为对象,呈
学位
学位
MEMS陀螺是用于测量角速度的传感器,具有高集成、低成本、高精度和可批量化生产测调的优点。MEMS陀螺的导航测算、平台稳定和姿态测量等功能广泛应用于国防工业和智能设备中。实际工作时MEMS陀螺的角速度测量功能需要搭配专用的接口电路才能够实现,在此前大多接口电路研究都基于PCB版级设计。随着消费电子领域的迫切需求以及集成电路技术的快速发展,PCB版级设计由于体积大、可靠性差的缺陷已经难以满足实际应用
学位
随着电子电气设备的广泛应用,伴随而来的电磁辐射不仅对人体的中枢神经系统的机能造成损害也会对人类的生存环境造成污染。面对生产生活中日益恶化的电磁干扰和污染问题,开发新型宽频、轻薄、强吸收、绿色的复合吸波材料有很大的应用价值。本文主要通过水热溶剂热法制备了不同空心结构的空心磁性粒子/石墨纳米片复合吸波材料,主要包括空心Fe3O4/GNs复合吸波材料、花椰菜状多孔空心Co/GNs复合吸波材料和多壳层中空
学位