概率粗糙集动态并行计算研究及其在Spark平台的应用

来源 :南昌大学 | 被引量 : 0次 | 上传用户:lijian6185
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
流式计算是一种动态环境下的数据计算方法,按照动态数据的流动方向,流式计算可分为增量、减量以及增减并行三种方法,其中增减并行方法可以有效提高动态数据的处理效率与知识的更新速度。Spark是一种典型的实时流式计算框架,可有效处理复杂动态流式数据的计算问题,基于Spark流式计算框架的并行计算算法研究已经成为新的热点问题。概率粗糙集三支决策理论通过对数据的数理计算和推理,发现其中隐含的知识、并揭示潜在的规律,是一种处理不确定性问题的工具。近年来,三支决策在理论研究和实践应用领域均取得了瞩目的成果,动态决策环境下的三支决策动态学习更是其重点研究问题。然而,当前以增量学习算法为主的研究占大多数,基于动态流式数据并行计算方法的三支决策计算算法研究较少。本论文的研究意义体现在以下两个方面:第一,以概率粗糙集三支决策作为基本研究对象,在动态决策环境下,对决策信息系统中单数据对象移入移出的动态变化机制进行研究,分别提出了三支决策单对象增量学习与减量学习策略,并基于时分复用的思想,提出一种动态决策环境下的三支决策动态增减计算算法。最后将算法在Spark平台上予以实现,并与经典计算算法对比,验证其有效性;第二,由于上述基于时分复用的动态增减计算算法是一种伪并行计算算法,因此我们在此基础上做了一定改进:借助实时内存计算的思想,给出了一种基于内存滑动窗口的单对象动态流数据计算模型,对此类数据变化模式进行了统一建模,并根据上述模型,对动态移入移出的单数据对象进行局部并行化处理,快速推导出不同变化模式下的三支决策条件概率及三支区域的变化规律,最后提出一种动态决策环境中的三支决策动态并行计算算法;通过Spark平台的对比实验,我们发现动态并行计算算法的性能更佳、稳定性更好。
其他文献
<正>外科手术部位感染(surgical site infection,SSI)是术后患者常见的医院感染和手术并发症[1-4],居医院感染的第3位,在外科患者医院感染中居第2位[5]。SSI不仅影响患者治疗
战国秦汉时期,中国古代货币的流通影响到了朝鲜半岛和日本列岛。如果以这一时期货币的出土资料为依据,研究环东中国海西、北、东三岸地区的陆路交通构成状况,就可以以这些交
随着课改的不断推进,日常教学中,师生都越来越重视在学习的过程中不仅仅应掌握基础知识,还应培养学习能力,进而培育学科核心素养。历史教学中,比较法是较为常见的教学方法,比较也是学生应具备的基本能力之一。在运用比较法时应注意,学会使用比较法不是最终目的,获得历史比较思维能力才是关键。本文尝试从培养学生的历史比较思维能力的必要性着手,首先梳理了该问题的研究现状,确定了研究的重难点。其次,阐述了历史比较思维
痛风是由于嘌呤代谢紊乱造成血尿酸水平过高,和/或尿酸排泄减少而导致尿酸盐沉积的疾病,主要表现为高尿酸血症、特征性急性关节炎反复发作、痛风石沉积及肾脏损害等。痛风性
现代企业之所以非常关注现金流量,是因为它关系到企业的存亡。而现金流量表正是反映企业现金及现金等价物流入流出的财务状况变动表。通过对现金流量表的分析,可以了解现金流
以《钢质海船入级规范》为指导,对散货船货舱区环形总段内各部分结构进行了规范性设计,利用SPD船舶设计系统对散货船货舱区环形总段进行模型的建立,并结合实际情况对其结构进
针对轨道交通领域焊接行业设计了一套焊接专家系统,实现了焊接签审流程管理、智能辅助焊接工艺规程编制以及焊接工艺文件管理功能。利用该系统,焊接工程师在制定焊接工艺规程
目前,国家还没有出版农村幼儿教师继续教育数学教材,导致农村幼儿教师培训教材"城市化"的问题比较普遍。从课题:"农村幼儿教师数学培训教材开发与研究"结题报告的角度,阐述了
汉末建安年间 ,曹操“挟天子而令诸侯” ,建立起霸府统治 ,并由这种统治逐步孕育催生出新的皇权。曹操霸府的组织系统通常由两三个部分构成 ,其分支机构亦不局限于一个处所 ;