论文部分内容阅读
地质学属于数据密集型科学,涉及到地球的方方面面。在大数据时代背景下,地质数据海量、数据类型繁杂为数据传输、存储和管理提出了更高的要求。传统数据管理主要适用于规范、来源单一、数据量低的结构化数据,不能满足深层次数据挖掘和信息服务。地质大数据服务理念应用而生,且地质大数据应用研究提升到国家大数据战略高度。由于地质行业的保密性和特殊性,地质大数据与Web大数据存在一定差异,地质核心数据存储局限于局域网范围。本文从地质大数据发现入手结合大数据技术和方法,对传统数据服务方法进行系统的归纳和总结,提出地质大数据发现模式。该模式包含数据发现、数据梳理、数据挖掘和信息服务,是一个从无数据到再数据的循环过程,针对各环节的具体实现提出合理的解决方案。数据发现是对当前主流NTFS文件系统中MFT表特性进行分析研究,采用正向提取和逆向过滤的方法进行地质数据筛选,实现对地质数据的快速发现和定位。数据梳理环节实现地质数据快速归类以及数据清洗,通过建立元数据星状模型将非结构化数据纳入统一的数据框架中,实现地质大数据集成统一管理,结合ArcGISEngine提供的灵活的空间数据操作方法,创建空间锚点实现地质数据空间化。结合主流的CRISP-DM数据挖掘过程标准和成矿预测模型,提出地质数据挖掘模型,设计了属性查询和空间查询,并采用P2P在线传输和FTP离线传输的方法来实现地质数据资源共享。最后,选取典型地区进行地质数据发现模式研究论证。地质大数据发现系统功能模块研发采用C#开发语言和MySQL数据库,集成了ArcEngine开发组件和Nherbinate框架,设计了数据发现、数据梳理、数据检索、数据传输以及数据处理等功能,以满足不同层次、不同类型的用户的专业需求。