多源异构数据融合关键技术研究

来源 :北京邮电大学 | 被引量 : 5次 | 上传用户:huaihuaitaizi
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着大数据技术的迅速发展,以机器学习理论为基础,以感知数据为支撑的多源异构数据融合成为了当前热门的研究领域,并被广泛应用于智慧医疗、智慧家庭和智慧交通等各类智慧城市系统中。随着感知数据的数量逐渐增多,数据在数据类型、数据关系及数据质量上的差异性日益增大,且包含大量未标注数据、数据稀疏区域及领域知识。同时,由数据隐私、数据安全及传输限制等因素所导致的分布式多源异构数据融合难题不容忽视。本文针对多源异构数据融合中单模型数据融合、基于数据特征的数据融合、跨领域知识融合及分布式环境下的数据融合四个关键问题展开深入的研究与探索,并基于城市感知数据对方法进行验证,取得如下创新成果:1.针对多源异构数据融合问题,提出了一种基于随机森林的多源异构数据融合方法MCS-RF。该方法属于单模型算法,通过融合离线半监督随机森林模型和增量半监督随机森林模型,可以解决多源异构数据融合中由于数据异构、稀疏数据和未标注数据等所造成的融合难题。本文以北京市细粒度PM2.5实时推断为例验证方法的有效性。实验结果表明,基于随机森林的MCS-RF算法可以有效实现多源异构数据融合,从而提升推断准确率。2.针对多源异构数据融合问题,提出了一种基于模型集成的多源异构数据融合方法。与MCS-RF不同,该方法通过构建多个相互独立的子模型完成数据训练。该方法针对城市感知数据中普遍存在的时序属性、空间拓扑属性和实时数据属性等数据特征构建子模型,并通过神经网络将子模型进行集成,实现任务目标。本文以北京市细粒度空气质量指标实时推断为例验证方法的有效性。实验结果表明,基于模型集成的融合方法可以实现多源异构数据特征的深度挖掘,从而有效提升评估准确率。3.针对跨领域知识融合问题,提出了一种基于机器学习的跨领域知识融合方法。该方法对领域知识模型进行近似处理,并利用数据进行训练求解近似模型参数,从而解决领域知识模型在城市感知数据中的部署难题。本文以空气质量预测问题为例验证方法的有效性。实验结果表明,基于机器学习的跨领域知识融合方法通过对领域知识的深度挖掘,可以有效提升预测准确率。4.针对雾计算环境下的数据融合问题,提出了一种包括局部异构模型集成和全局同构模型协同的多源异构数据融合方法,并使用基于数据数量和数据质量的参数平均方法对模型进行迭代优化。本文以雾计算环境下的环境监测问题为例验证方法的有效性。实验将城市感知数据模拟分割成雾计算环境下的数据分布,分别使用独立同分布数据及非独立同分布数据对方法进行了验证。实验结果表明,该方法通过本地模型集成及云端模型协同可以有效实现非数据共享下的模型协同训练,从而解决分布式节点数据稀疏、模型过拟合、数据异构及模型异构等融合难题。
其他文献
子宫内膜癌是我国女性生殖系统三大常见恶性肿瘤之一,近年研究发现EC发病与生活方式也有关,如药物的使用、月经婚育史、膳食结构、不良生活史等,其生物机制的明确将进一步解
改编自西方推理小说的欧美侦探电影,普遍都具备独特、鲜明的多重叙事风格,强调以时间、空间的双元控制机制,去影响影片故事的演进节奏与转化逻辑。其中,板块式叙事、圆形叙事
燃气热泵因其综合能耗低、制热能力强、节能环保等优点而被广泛用作建筑空调、食品干燥和除湿的冷热源,并在我国北方“煤改气”过程中得到积极推广。但室内需求负荷的波动往
目的采用CBCT三维测量方法(三维重建后的锥形束CT)研究生长发育期安氏II类1分类高角型患者经Damon技术拔牙矫治后上气道形态的改变。方法采集澳门仁康牙齿矫正中心2012年1月~20
随着全球气候日益变暖,世界各地极端气候灾害频发,对于救灾抢险设备的性能提出了更加严格的要求。自吸离心泵作为抗洪抢险的核心设备,在防汛抗洪等领域发挥着重要的作用。然
探讨老年骨伤患者住院期间的安全隐患,对危险因素进行分析,做好老年骨伤患者安全护理。采取积极措施。增强护理人员及患者或家属的防范意识,减少或避免现成或潜在的危险因素
春秋时期,出身于世族尤其是作为公族宗子的诸君,依然成为文学创作的主体。同时,他们继承西周的诗礼文化传统,以政治生活与日常生活为活动场域,以自身的行为实践,尤其是文学创
磁约束核聚变研究技术的快速发展,对核辐射探测学方面有了更高的要求,特别是通过对高能粒子的损失诊断,可以很好的评估聚变反应中等离子体的相关参数。而由于金刚石材料自身