基于带粘性的层次Dirichlet过程的聚类分析方法及其应用

来源 :深圳大学 | 被引量 : 0次 | 上传用户:mcx1988929
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
对由多个指标组成的多源数据进行聚类分析时,数据维度的增加、各指标信息量不一致以及各指标服从的分布不同会增加聚类问题的复杂性,乃至影响聚类结果的准确性。现有的聚类方法在处理多源数据时假设指标数据相互独立,不考虑各指标的信息量差异,因此我们需要提出新的聚类方法来克服这些问题。本文在已有研究的基础上提出改进的带粘性的层次Dirichlet过程(sticky Hierarchical Dirichlet Process)方法来对多源数据进行聚类分析,以解决各指标信息量差异问题,并用粘性参数反映各指标与总体聚类之间的相关性。通过对仿真模拟数据和IRIS数据集的聚类分析,我们证实了该方法的有效性,同时发现指标数据的相关性越大,总体数据聚类结果的准确率越高,而当指标数据的相关性有高有低时,对sticky HDP模型聚类的准确率影响不大,表明了带粘性的层次Dirichlet过程方法具有稳健性。同时,我们还发现指标数据粘性的大小,可以直接反映指标数据与总体聚类之间相关性程度的高低。此外,通过对不同粘性情况下指标数量与总体聚类准确率之间的研究,我们还发现从多源数据中选取少数几个粘性参数较大,即重要性程度较高的指标进行聚类分析的结果即可反映总体数据的聚类情况,从而可以根据粘性参数的大小进行重要指标的筛选,实现数据的降维聚类,达到简化模型的效果。在对仿真模拟数据和IRIS数据集进行聚类分析时,我们应用带粘性的层次Dirichlet过程方法,发现它比其他聚类方法:最长距离法、K-均值法、PAM算法、主成分分析法以及混合模型法,有更高的准确率。尤其当数据有少数几个相关性较大的指标时,带粘性的层次Dirichlet过程方法明显优于其他聚类方法,能够显著提高分类的准确性和具有稳健性。最后,我们对广东、河南、安徽、江苏、四川这五个农业大省共85个地级市2016年农业现代化数据进行聚类分析,聚类结果表明带粘性的层次Dirichlet过程方法对于这些地级市农业现代化发展水平划分结果的合理性明显高于其他方法,能够准确判断这些地级市农业现代化发展所处的水平。同时,用粘性参数反映各指标在农业现代化发展水平划分中的重要性程度具有客观性和准确性,能够准确找出影响农业现代化发展的重要因素。
其他文献
真实世界的网络例如社交网络,存在重叠社区结构。社区结构将网络中的顶点划分为多个不同的组,一个组即是一个社区。当网络中一个顶点可以属于多个社区时,该社区结构即是重叠
自然界中,丰富多彩的颜色主要是通过染料和颜料着色的,我们称之为化学色。根据成色机理的不同,还有另一种类型的颜色叫结构色,如贻贝、鸟类羽毛以及一些植物果实都属于天然结
面对能源危机和日益严峻的环境问题,可再生生物质资源向生物燃料和生物化学品的转化引起了广泛的研究兴趣。与热技术和生物技术(如热解、气化和酶/细菌辅助策略)相比,化学催化
植物作为生产者,对生态系统起着非常重要的作用。叶片是陆地生态系统功能的基础,叶性状之间的资源权衡是“叶经济谱”的核心思想。落叶栎是暖温带落叶阔叶林中最典型的代表性树种,分布范围广,具有耐旱、耐贫瘠的生态特性,对植被恢复、水土维持等有着重要意义。本研究以五种典型落叶栎属植物麻栎、栓皮栎、槲栎、白栎、短柄袍栎为研究对象,采用野外实验和温室控制相关结合的方法,探讨落叶栎属植物的叶经济谱。主要结果如下:(
晚清以来,新学以席卷之势进入中国社会,给近代士人带来了前所未有的冲击。旧学的浸润和新知的影响交织,不少士人的思想都会出现矛盾彷徨,不知何去何从。而对这样的士人思想,学界已有较多讨论,传统观点认为士人在受到新学影响前后的思想是截然两分的,他们思想当中的旧学与新学、传统与现代是完全断裂的,这一说法固然过于绝对;与此相对的主线不断论则认为士人的思想实际上具有某种一贯性,即使受到了新学的冲击,他们的前后思
碳化硅陶瓷具有化学稳定性高、耐腐蚀性好和热膨胀系数低等优点,在电子电气等领域具有广泛的应用前景。针对其脆性大和难以加工的缺点,采用活性钎焊的方法连接碳化硅陶瓷或金
酶催化生物体内的化学反应,是生命代谢运转的动力。生物催化为核心的工业生物技术成为现代生物技术发展的第三次浪潮。酶催化的高效性是行业应用的限制瓶颈,通过设计改造形成
风能作为清洁可再生能源中的典型代表具有广阔的发展空间。随着新的风力发电机组的持续投入建设,旧机组在长时间的工作下渐渐出现故障,而且由于其结构复杂,工况恶劣,各个部件
近年来,煤炭消耗量的日益增加导致矿井开采的深度越来越深,开采难度也随之增大,其中高温热害问题成为了开采过程中不可避免的危害之一。煤岩体是矿井煤层中重要的组成部分,煤
近年来,随着现代工业对高性能铝/钢复合构件的需求日益迫切,传统的镶嵌铸造、焊接等复合方式已无法满足其性能要求。铝/钢复合锻造成形是制备铝/钢复合构件的新方向,但是,铝