基于数据挖掘技术的实时大容量数据分析的研究

来源 :哈尔滨工程大学 | 被引量 : 0次 | 上传用户:ccx1942
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着数据库技术、人工智能和数理统计等技术的发展与融合,数据挖掘技术应运而生。数据挖掘作为20世纪末刚刚兴起的数据智能分析技术,由于其所具有的广阔应用前景而备受关注,已逐渐成为数据库和人工智能领域的一个热点,数据挖掘中的方法已经在各行各业获得了广泛的应用,并取得了显著的成果。数据挖掘已经成为一个新兴的、潜力巨大的研究领域。 本文介绍了数据挖掘的理论与方法,包括数据挖掘的定义、挖掘的主要过程、分类和主要技术手段。同时重点研究了数据挖掘中的聚类分析和异常数据挖掘方法,并以油气集输管线的压力数据采集与分析为例,对聚类分析和异常数据挖掘技术的方法进行了研究,针对油气集输管线泄漏检测工程的实际情况提出了数据预处理的过程,进而利用异常数据挖掘的方法来进行实时、大容量数据的分析。同时,在系统的开发研究过程中,作者使用Visual C++6.0完成了相应模块的程序编写工作,从而实现了油气集输管线的泄漏检测,扩展了数据挖掘的应用领域。 本文侧重于对数据分析与处理的宏观方法进行了研究,研究中所利用的基本数据是在系统正常运行时从现场实际采集得到的,而实际运行时有多种复杂的情况发生,由于时间和篇幅所限本文没有进行叙述,这些内容有待于以后做进一步的研究。 随着对异常数据挖掘研究的进一步的深入,这一技术必将在工业、金融业、零售业、医疗保健和政府决策等各个领域发挥更大的作用。
其他文献
随着Internet的飞速发展,能够更有效地利用网络带宽资源的IP组播技术研究与应用成为当前科研领域的一个热点.在日益强调服务质量的今天,网络传输中断、网络拥塞以及组播机制
当今信息化时代,各种以数据形式表达的信息几乎以指数的量级在迅速增长,许多隐含在海量数据中的知识正等待人们去挖掘、去发现.作为数据库研究、开发和应用最活跃的分支,数据
实时数据库(RTDBS)的事务和数据具有显式的定时限制,系统的正确性既要满足逻辑约束又要满足时间约束。在实时数据库中完善集成主动规则机制,用于实时数据库的反应式行为。RTD
数据立方梯度是关联规则在数据立方上的推广和一般化,它描述了立方元组因维值的变化所导致的度量变化,能够支持更复杂、更广泛的假设分析。为了克服传统的梯度挖掘算法从基表
多机器人协调与协作是机器人研究领域的一个重要课题,将智能体理论与机器人研究相结合又是当前研究的一个热点。本文以二维环境中军用水下多机器人的巡逻和围捕任务为应用背景
随着Web信息技术的迅速发展及广泛应用,高校信息化建设有了很大的发展,J2EE平台支持简化的、基于组件开发模型,开发效率高、重用性好,并且具有良好的跨平台性和可移植性,成为
在TMN的五层管理架构中,网络级管理系统处在第三层,接口是它的关键技术之一.基于CMIP的Q3接口,因其复杂性而倍受开发者诟病.从网络级网管的需求出发,提出了网络级网管系统的
随着多核计算的兴起,并发软件成为计算机辅助验证的重要目标。并发软件系统在社会生活、国民经济等诸多关键领域的应用愈加普遍,软件系统存在的微小错误或漏洞可能会引起重大的
随着企业对于大容量存储和高性能计算需求的增加,通过传统的更新硬件设备来提高性能的方式已不太合适,特别是对于那些硬件配置和软件服务都不完善的中小型企业。因为它们没有
今天的计算机安全问题日益严重,不论是Unix的缓冲区溢出,还是微软的Internet浏览器所存在的漏洞,计算机系统在各个层次上都存在着安全隐患。然而,传统的安全技术已不再满足人