面向特定领域的缺失数据填补方法研究

来源 :辽宁大学 | 被引量 : 0次 | 上传用户:epwangke96
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着数据相关理论和技术的快速发展,金融、医疗、电力等各领域均产生了海量数据。这些数据来源分布广、格式多变、规模庞大。然而,由于网络传输、人工审核校验等原因,数据集当中某些属性存在缺失甚至错误,数据质量难以保证。良好的数据质量是支持分析、决策以及可视化等的重要基础。如何提高数据质量,成为当前数据处理领域研究的热点问题。本文对其中的数据填补问题展开了研究。在数据填补问题上,许多学者进行了研究,提出了一些卓有成效的解决方法。但这些方法多是面向通用领域的数据填补方法,没有考虑领域的具体特征,在填补特定领域数据时填补效率不理想。特定领域的数据往往存在特定数据特征,本文对其研究,提出了面向特定领域的缺失数据填补方法,并且以金融领域为例,根据缺失数据集的特点,采用不同的策略对不完备数据集进行填补。本文主要工作为以下几个方面:(1)针对依赖型数据缺失的特点,提出了一种重建多元依赖型缺失数据填补算法。首先,应用改进聚类算法和基于聚类的属性约简算法进行缺失数据关联数据集获取;其次,提出了移动窗口填补算法,从关联数据集中找出与缺失数据相似的候选填补数据;然后,使用缓存索引策略减少降低算法复杂度;最后,实现对缺失数据的填补,同时提高填补的效率和准确率。(2)针对扩展型数据集缺失的特点,提出了一种融合多特征扩展型缺失数据填补算法。首先,应用函数依赖算法构造查询关键字以便到搜索引擎查询与相关的网页文本片段;其次,设计了网页来源可信度评价表筛选合适的网页文本片段,并从网页文本片段中抽取候选实体;接着,结合候选实体的上下文特征,提取候选实体的特征;最后,提出了改进的证据融合算法融合候选实体的多个特征,并根据融合特征值最大的候选实体作为目标实体以填补缺失数据。(3)最后,在多个真实数据集与目前较为先进的填补算法进行实验验证与对比。实验结果表明本文提出两种缺失数据填补算法可有效地填补缺失数据集。
其他文献
随着语音技术的飞速发展,深度语音伪造变得越来越方便,这项技术也从高门槛逐渐走向大众,让充满创意的深度伪造语音变成大众娱乐。但在深度伪造语音方便大众的同时也混淆着大众视听,基于深度学习的语音伪造技术让听起来真实的消息不再真实,使得重要的视听消息变得难以让人相信,影响了大众生活,甚至造成财产损失和威胁生命安全,因此,深度伪造语音的检测变得尤为重要。首先,提出加强小波包能量谱,并融合语音特征提取的多种方
学位
位移是结构健康监测的重要指标,广泛用于评估结构的健康状况。考虑到传统位移传感器的局限性,近些年来,研究者们提出了大量基于视觉的方法来进行结构位移监测。与传统位移传感器相比,基于视觉的方法具有远距离、非接触、易部署、成本低等诸多优点。目前基于视觉的结构位移监测方法主要分为三个步骤:首先,通过相机标定方法获得二维图像与三维世界的映射关系,然后通过视频目标跟踪技术获取到目标建筑在视频中的像素位移,最后将
学位
近年来,电子商务如雨后春笋般不断发展壮大,其涵盖面越发广泛,并迅速引领社会发展潮流,电子商务行业已成为国民经济发展的一支坚实力量。自2020年1月月末,新型冠状病毒肺炎疫情进入了大规模爆发期,在这一艰难时段,电子商务的线上运营优势也逐渐显现出来,电商行业所受到的复工影响程度相比其他行业较低,其更高的复工率令其他行业望尘莫及。电商网络具有网络异构性,异构网络表征学习及用户社区划分是挖掘电商网络异构信
学位
生物通路对于研究疾病致病性有重要意义,它对于识别药物靶点和改善疾病临床的治疗效果有着指导意义。高通量测序技术的不断完善,使得生物通路数据被大量积累,因此如何从繁杂冗余的数据中有效提取生物通路信息是当下迫切需要解决的难题。当前存在不少生物通路知识库提供给研究人员通路可视化和生物通路检索功能,还有个别的生物通路知识库能够根据各种用户需求提供差异化的通路排序结果,且检索结果能够按照用户习惯动态更新,但是
学位
近年来,随着计算机技术的不断发展,人工智能领域的研究突飞猛进。其中图卷积神经网络已经成为学习复杂结构与性质之间的关系等应用的一个非常有效的框架。图卷积神经网络在图结构数据上表现出来了非常优异的性能,因此越来越多的研究者开始聚焦于该方向。在诸多方向中由于使用图卷积神经网络进行分子属性预测在分子生成和药物发现等领域起到极为关键的作用,分子属性预测成为了越来越热的研究方向。在化学领域,计算分子的属性通常
学位
计算机视觉技术领域的研究进入了深度学习时代后,人脸检测作为计算机视觉领域中一直都在研究的问题,也跟随人工智能技术不断向前发展,深度学习时代的人脸检测算法也可以从跟通用目标检测的关系来从两个不同的角度看待,分别是专为检测人脸目标而设计的检测器,此类算法大多从人脸与其他目标相比而独有的特征出发而设计,另一种就是在通用目标检测算法的基础上,做一定针对于人脸目标的调整,此类算法的设计往往更加简洁,且具备更
学位
学位
在当今的数字化时代,我们对图像质量提出更高的要求,各个领域的发展都离不开图像。但是由于采集设备的传感器缺陷,或通过通信信道传输的过程中图像容易被脉冲噪声所破坏,具体表现为图像中随机出现的黑点和白点,故也可叫做椒盐噪声,椒盐噪声不仅影响我们视觉对图像质量的判断,而且还会对后续其它图像处理任务造成影响。去除椒盐噪声的方法有很多,有学者提出基于模糊理论的两阶段噪声检测与去除方法,优点是结合模糊理论处理不
学位
漏洞检测一直是软件安全领域的一个重要研究问题,近年来,基于深度学习的代码漏洞检测技术取得了长足的进展,相比于传统方法,它不依赖领域专家,能够自动提取漏洞模式。然而,已有研究表明,深度学习模型具有脆弱性,在样本上施加一个精心设计的小扰动,就有可能成功欺骗模型,使模型输出错误结果,如果稍加扰动就可以让漏洞程序逃避检测,这将对软件安全造成巨大的威胁,施加扰动的方法即是对抗攻击方法。目前,针对对抗攻击方法
学位
在流行病学中,时空数据可以帮助追踪传染病的传播过程,由于这些数据在现实中涉及到如溯源等具有重要实际意义的应用,所以对数据的真实性有较高的要求,同时目前时空数据大多由各个企业、机构单独集中式存储,从而形成了一座座“数据孤岛”,极大的降低了时空数据的流通性和数据价值,并增加了数据造假的风险。区块链技术的不可篡改性与透明性可以为时空数据的存储、共享与溯源需求提供良好的支持,但是当前区块链的数据结构并不是
学位