基于Spark框架和ASPSO的并行划分聚类算法

来源 :通信学报 | 被引量 : 0次 | 上传用户:daiguangying
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
针对划分聚类算法处理海量的数据存在的数据离散系数较大与抗干扰性差、局部簇簇数难以确定、局部簇质心随机性及局部簇并行化合并效率低等问题,提出了一种基于Spark框架和粒子群优化自适应策略(ASPSO)的并行划分聚类(PDC-SFASPSO)算法.首先,提出了基于皮尔逊相关系数和方差的网格划分策略获取数据离散系数较小的网格单元并进行离群点过滤,解决了数据离散系数较大与抗干扰性差的问题;其次,提出了基于势函数与高斯函数的网格划分策略,获取局部聚类的簇数,解决了局部簇簇数难以确定的问题;再次,提出了ASPSO获取局部簇质心,解决了局部簇质心的随机性问题;最后,提出了基于簇半径与邻居节点的合并策略对相似度大的簇进行并行化合并,提高了局部簇并行化合并的效率.实验结果表明,PDC-SFASPSO算法在大数据环境下进行数据的划分聚类具有较好的性能表现,适用于对大规模的数据集进行并行化聚类.
其他文献
基于网站指纹(WF)攻击的Tor网页流量识别方法往往建立在分离好的Tor流量甚至是分离好的Tor网页流量的基础上,但从实际网络的原始流中分离出Tor流量,再从Tor流量中分离出Tor网页流量,其计算量和困难程度远高于Tor网页流量的WF攻击本身.根据目前互联网的体系结构,利用网络流量汇聚到区域中心节点的特点,通过中心节点的SDN结构所提供的域内全局视角,结合Tor网络公开的节点信息提出了一种区分Tor流量的双向统计特征(BSF),可以有效分离Tor流量;进而提出了一种基于LSF技术的网页流量隐藏特征提取方
车轮踏面是城市轨道交通车辆走行部的关键部件,影响整车的安全性和舒适性.为提高车轮踏面镟修的经济性,文章分析车轮踏面镟修量的影响因素,结合走行部车载故障诊断系统和轨旁检测系统数据的特征,建立基于模糊多属性决策分析的踏面经济型镟修模型.根据模糊隶属度确定的各类指标及专家意见,确定车轮踏面故障类型、故障程度及故障发展趋势,综合决策,给出最佳镟修时机和镟修量,智能化指导车轮踏面运维检修,避免轮对踏面过度维修,延长轮对使用寿命,提升经济效益.