【摘 要】
:
随着信息技术的快速发展,需要存储和分析的数据量呈爆炸性增长,如今已经进入了大数据时代,传统的频繁项集挖掘算法已经不能适应大数据挖掘的要求,其面临的困难主要表现在如下三个方面:一是单一计算机无法存储所需要挖掘的所有数据及挖掘过程中产生的中间结果;二是挖掘过程所需要的内存远远超过单一机器的存储量;三是计算时间太长无法忍受等。为了提高频繁项集增量挖掘的效率,本文针对当前并行增量挖掘算法进行了改进,提出了
论文部分内容阅读
随着信息技术的快速发展,需要存储和分析的数据量呈爆炸性增长,如今已经进入了大数据时代,传统的频繁项集挖掘算法已经不能适应大数据挖掘的要求,其面临的困难主要表现在如下三个方面:一是单一计算机无法存储所需要挖掘的所有数据及挖掘过程中产生的中间结果;二是挖掘过程所需要的内存远远超过单一机器的存储量;三是计算时间太长无法忍受等。为了提高频繁项集增量挖掘的效率,本文针对当前并行增量挖掘算法进行了改进,提出了一种基于滑动窗口的频繁项集并行增量挖掘算法SWPUFP(Parallel Updated Frequent Pattern on Sliding Windows),同时论文将SWPUFP算法应用到了气象数据挖掘系统中,并设计实现了该系统。论文的主要工作如下:(1)提出了基于滑动窗口的频繁项集并行增量挖掘算法。针对并行增量挖掘算法对历史数据集依赖过重的问题,提出了滑动窗口和准频繁项集的改进;针对并行增量挖掘算法中各个并行子挖掘任务不能相互独立更新的问题,提出前缀划分投影和项集前缀树的改进;针对算法并行挖掘任务中数据分布倾斜的问题,提出了分组负载均衡的改进。最后结合相关改进点设计了基于滑动窗口的频繁项集并行增量挖掘算法SWPUFP,并对算法设计进行了详细阐述,给出了算法实例分析。(2)针对SWPUFP算法设计了相关可行性实验。阐述了实验环境的搭建,数据选取、划分方式的实验设置,进行了不同规模数据集、不同支持度、不同准频繁度和不同计算节点数等一系列的实验。实验结果表明,SWPUFP算法在大数据集上挖掘比在小数据集上有更好的表现,当后期增量数据增多时,在不同支持度上相较同类算法都能有一定的效率提升;通过选取合适的准频繁度平衡挖掘效率和准确率来解决挖掘损失是有效的;算法并行扩展性也是在大数据集上有更优的加速比。(3)将SWPUFP算法应用到气象数据挖掘系统中。根据气象数据的特点,将挖掘算法与气象数据相结合,设计了气象数据挖掘系统架构,介绍了数据采集、预处理、频繁项集挖掘及关联规则生成等核心功能模块的实现方法。
其他文献
目的:探讨曲安奈德对特应性皮炎小鼠白细胞介素-33(IL-33)、白细胞介素-25(IL-25)、胸腺基质淋巴细胞生成素(TSLP)和Th1/Th2平衡的影响。方法:选择ABLB/c雄性小鼠60只,分为对照组、模型组、阳性对照组、曲安奈德组高、中、低剂量,给予模型组、阳性对照组、高、中、低剂量组建立特应性皮炎小鼠模型。高剂量组腹腔注射3μl 60 mg/ml曲安奈德,中剂量组腹腔注射3μl 40
<正> 蛇冬眠是蛇在低温环境条件下的一种适应力,每年冬季蛇不吃不喝把新陈代谢降低到最低水平,进入休眠状态。南方的蛇一般从每年11月下旬开始到次年3月中旬结束。为了提高蛇冬眠的成活率,减少蛇在冬眠期的死亡,养蛇户必须采取有效的措施,加强对蛇自身状况温度、湿度三个要素的管理,严保越冬安全。一、抓好蛇的增膘复壮工作
目的·探究microRNA-30b-5p (miR-30b-5p)在多囊卵巢综合征(polycystic ovary syndrome,PCOS)大鼠中的表达及miR-30b-5p过表达对卵巢颗粒细胞(granulosa cell,GC)自噬的影响。方法·采用脱氢表雄酮(dehydroepiandrosterone,DHEA)建立PCOS大鼠模型,实时荧光定量PCR (real-time fluo
目的:本实验拟初步探讨蒲公英甾醇对特应性皮炎小鼠模型的治疗作用及可能的分子机制。方法:本实验拟选用BALB/c雄性小鼠,用2,4-二硝基氯苯建立特应性皮炎小鼠模型,并灌胃低浓度和高浓度的蒲公英甾醇进行治疗,观察皮损情况,搔抓次数,测定脏器指数,进行病理学HE染色、CD4+免疫组化实验,ELISA法检测炎症因子TNF-α、IL-4、IL-6水平。结果:蒲公英甾醇能够显著降低小鼠的皮损程度、皮肤厚度、
背景:接触性皮炎是最常见的皮肤疾病之一,是由过敏性半抗原引起的皮肤炎症性反应,影响着全球约15%~20%的人口。由于日常生活中过敏原种类多样,难以预防,且传统药物治疗副作用较大,停药后易复发等问题,对患者的生活和心理造成了极大困扰。近年来,中药低毒性、多靶点的特点,在接触性皮炎的治疗中展现出了较为理想的治疗效果,双氢青蒿素作为青蒿素衍生物的一种,在抗炎和免疫调节等方面,已经被证明有较强的功效。因此
目的:观察黄芪多糖对放射性皮炎小鼠模型作用机制。方法:建立放射性皮炎小鼠模型,将80只小鼠随机分为正常组、模型组、黄芪多糖组和三乙醇胺乳膏组,每组20只,连续治疗3周,观察创面愈合情况,苏木精-伊红(HE)染色观察皮肤病理学变化,酶联免疫吸附法(ELISA)检测血清中肿瘤坏死因子-α(TNF-α)、白细胞介素-6(IL-6)水平,实时荧光定量PCR和蛋白印迹法(Western blot)检测碱性成
环氧树脂(EP)是一种广泛应用于电子产品的基础材料,具备高可加工性、高附着力、电绝缘性好以及良好的耐化学腐蚀性,但是其导热性极差并且非常易燃。电子器件通常有发热现象,一旦热量累积发生热失控,就会引燃环氧基材造成火灾。然而传统直接共混阻燃剂和导热填料的方法存在添加量高和效率低的问题。本课题以开发低填料添加量、高导热、阻燃性能优异的环氧复合材料为目标,通过选择不同的阻燃剂添加方式,分别制备了性能优异的
写作是高中语文教学中至关重要的一环,在高考中所占的分数比重很高,作文教学一直是一线语文教师最重视也最头痛的问题。本文从学生实际问题出发,结合近五年全国卷高考作文命题及部编版高中语文教材中的写作任务,设计出一份适用于高三学生的周记式写作训练计划,并应用于教学实践。试图通过对周记式写作训练的探究,为广大一线高中语文教师提供一些作文教学上的思路和参考。第一章交代了本文的选题缘由,并对周记式写作训练相关概
在分析国外载人深潜技术的发展历程和最新进展的基础上,系统总结了中国载人深潜技术取得的主要成就和积累的经验,同时详细介绍了载人深潜领域日益拓展的应用场景,对中国载人深潜未来的主要任务和运行模式提出展望,为后续发展提供参考。