论文部分内容阅读
本论文的主旨是研究数据挖掘网格的架构及其若干关键技术,为数据挖掘网格系统的设计和实施提供参考。论文通过研究当前数据挖掘面临的挑战和网格计算技术的发展,展现了当前数据挖掘网格的研究现状和最新研究动态;着重研究了电信领域数据挖掘网格的热点问题、技术难度等方面,并对电信领域数据挖掘网格的若干亟待解决的关键技术进行了深入研究。本文中作者主要的研究和设计工作如下:(?)综述了数据挖掘算法的研究现状和网格系统的发展状况;通过分析比较多个主要的网格架构和网格系统,给出了这些网格架构的特点和不足,指出数据挖掘网格的实施是解决当前电信领域数据分析和数据挖掘难题的主要方案。(?)通过分析电信数据挖掘应用的需求,分析比较研究了网格系统的基本架构,尝试提出了数据挖掘网格的概念,并提出和设计了一种数据挖掘网格的体系结构,该系统结构依据分层思想,把数据挖掘网格的架构自上而下从对外接口层到基本资源层总共划分为六层,该架构能够提供从数据挖掘接口服务到数据挖掘的领域应用的支撑,能够支撑数据挖掘的分布计算,也能很好的支撑并行计算资源和数据的分配。文中从多个角度详细描述了数据挖掘网格的层次结构,体系特征,模块功能,动态特性,交互关系。(?)提出了对三大类经典数据挖掘算法和基于图的数据挖掘算法的并行化算法,同时总结了挖掘算法并行化的通用方法;提出了网格调度算法来优化并行化任务的执行效率,并且对并行算法及其调度算法都进行了性能分析,这些研究为数据挖掘并行算法的基本实现提供了保障,也验证了数据挖掘网格的可行性和实用性。(?)通过研究元数据模型的当前标准,发现现有元数据标准不能支持数据挖掘网格的元数据模型,因此提出适合数据挖掘网格需要的元数据模型;元数据模型提供了对于数据挖掘网格架构的各个层面的支撑,该元数据模型的核心是支撑了分布式数据挖掘的算法元数据和网格系统的元数据;为了规范化和利于计算机之间的信息交互,把元数据模型用XML Schema进行了描述,并详细描述了一个实例。(?)通过研究元数据服务的机制,根据元数据服务的应用需求,提出了利Web服务技术构建数据挖掘的元数据服务系统结构,并给出了一个典型的利用Web服务方式提供的数据挖掘元数据服务的实例。(?)数据挖掘网格原型系统设计实现和验证。为了展现数据挖掘网格体系结构设计的正确性和可行性,设计实现了数据挖掘的一个原型;通过原型系统的运行,展示了数据挖掘网格的工作过程,并且通过具体的数据试验,验证了数据挖掘网格系统的可行性和高效性。