Hadoop技术在油气生产物联网中的应用研究

来源 :兰州理工大学 | 被引量 : 2次 | 上传用户:mangshengsun1
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在石油勘探行业中,伴随着物联网技术的不断应用,油气开发环境和业务环境中产生了海量的数据。收集数据成本的逐渐降低和收集数据意识的不断提高,使油田上积累了海量、多维度的油气生产和管理数据。然而“海量的生产数据”与“匮乏的油田认知”逐渐成为油田行业发展的瓶颈。油气生产非结构化数据量庞大、类型众多,主要包含各种没有固定格式的基本业务数据体、生产成果文档、生产报表及“四化”(模块化建设、标准化设计、信息化提升、标准化采购)建设等数据,数据量在6TB~8TB。当前油气生产数据量的与日俱增,大大超出了传统数据库的存储范围,常规的数据库(如:My SQL、SQL Server、DB2等)存储和数据处理方法遇到了瓶颈。Hadoop作为一种新兴的分布式数据存储和计算框架,具有高可靠性、高扩展性、高效性和高容错性的特点,为存储和处理海量油气生产数据提供了新的思路。因此,本文将Hadoop技术应用于油气生产物联网中,设计并部署了Hadoop油气生产数据存储平台,并基于历史生产数据改进了油气产量预测模型,具体工作重点如下:首先,对Hadoop研究现状和技术优势进行分析归纳,明确油气生产数据在存储方面遇到的困难,从而确定将Hadoop技术应用到油气生产中用于可靠存储、高效查询和数据挖掘分析。其次,针对油田现场生产数据具有数据结构复杂,数据规模庞大,数据间关联性大等特点,结合Hadoop技术,本文设计了一种基于Hadoop技术的油气生产数据存储平台,实现了不同种类数据在Hadoop平台和传统数据库中共享交互,有利于在日后生产中对数据做深入的分析和挖掘。对于非结构化数据的存储设计,利用基于HDFS的HBase作为存储数据库;对于结构化数据的存储设计,采用了Oracle数据库作为离线数据仓库,提供离线的历史数据分析。而对于需要被实时查询的生产数据,则通过Redis内存数据库完成。在理论设计的基础上,实现了Hadoop油气生产数据存储平台的部署,并且对平台的性能进行测试,说明将Hadoop技术应用到油气生产物联网中是高效的、可行的。最后,针对国内许多油田已经进入产量递减阶段的问题,通过基于Hadoop平台存储的历史生产数据,在双曲递减跟指数递减模型的基础上提出了一种最优加权组合法产量预测模型,通过三种模型的预测结果和实际产量进行对比,得出最优加权组合预测模型的预测结果最逼近实际产量,具有极好的预测效果,可以考虑在广大油田试点运行。
其他文献
分析了高速铁路无砟轨道道床结构层间出现离缝病害的原因,指出了铁路运营过程中如不能妥善处理离缝病害,将会极大影响高铁的运营安全和使用寿命,详细介绍了采用注浆工艺处理
收集岛国船型资料,对船舶用途、建造成本、营运成本三个方面进行分析,找出最适用于岛国的船型.用这种分析方法对新船设计方案进行评估,使设计的船舶更加符合岛国需要.
<正> 588908和688908轴承,分别为泰山-12和泰山-25拖拉机离合器分离轴承.按使用说明书规定,在三号保养时需添加黄油,但该轴承没有能注入黄油的黄油嘴,有些机手因不了解这种轴
随着国家一带一路的施行,西部尤其是新疆地区的发展支持力度越来越大,对西部培养化工类人才的要求越来越高,无机化学作为重要的基础课程之一,其教学改革势在必行。但是现有的教学
目的为了进一步提高我院呼吸内科的护理质量,提升我院的整体形象,本文就自发性气胸患者的护理对策进行了浅显的研究和探讨。方法将我院在2010年10月—2012年10月期间收治的24
针对船舶柴油机转速传感器性能指标测试必要性和传统测试仪的局限性,引入实用而高效分布式智能监控系统,发挥集中管理、分散控制优势.智能型船舶柴油机电脑监控系统,可以对柴油机
在阐述水足迹相关理论的基础上,对水足迹定量核算的模型与方法进行了比较和评述,对其相关应用进展进行了总结。水足迹的核算方法主要有Bottom-up分析法、Top-down分析法和Inp