基于Hadoop的矿山大数据分析平台的研究与设计

来源 :华北电力大学(北京) | 被引量 : 0次 | 上传用户:ruoxich
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着社会信息化的不断发展和国家对生产安全的高度重视,煤矿企业建设了许多数字化系统确保煤矿的安全开采,然而这些系统前期并没有统一规划,都是自成一体,系统之间无法进行信息共享,形成了许多“信息孤岛”。随着第五代通信技术和大数据以及人工智能等现代信息技术的应用和发展,人类社会正在向智能化转型,煤矿开采也在朝着智能化方向发展,智慧矿山的建设是一个重要的标志。煤矿数字化系统在运行过程中产生了海量的数据,传统的数据技术难以处理如此量级的数据,限制了矿山大数据的进一步分析利用,造成了数据价值的流失,无法满足煤矿开采的安全开展。智慧矿山的建设离不开海量多源异构数据的分析,因此构建矿山大数据分析平台是建设智慧矿山的前提和基础。本文从矿山大数据处理方面着手,主要对矿山大数据预处理和矿山大数据分析进行了深入的研究。首先对智慧矿山和矿山大数据平台的发展与研究现状以及大数据处理理论进行了阐述。其次,对由于传感器异常引起的缺失值处理介绍了常用的三种数据预处理插值方法,基于数据融合理论提出了 一种数据预处理方法并进行了实验分析对比。再次,对经典的关联规则分析挖掘方法Apriori进行了详细的介绍并分析了其缺点,针对Apriori算法无法高效挖掘关联规则的缺陷提出了一种改进的分布式并行算法并进行了实验分析验证,利用改进的算法实现了矿山大数据的关联分析。最后,设计了矿山大数据分析平台的层次结构并进行了架构设计,利用Hadoop分布式存储和计算框架及其生态技术构建了矿山大数据分析平台并实现了煤矿部分分析数据的可视化展示。基于Hadoop的矿山大数据分析平台将煤矿各个数字化系统进行整合从而形成一个整体,利用分布式集群实现了矿山多源异构数据的统一加工处理和存储,打破了多个系统独立部署带来的“信息孤岛”效应,实现了系统之间信息的共享和数据的综合分析,在降低煤矿企业投入成本的同时可以为煤矿管理员提供决策参考,对于实现煤矿安全生产和提高煤矿智能化开采水平具有重要的意义。
其他文献
随着地下管廊自动巡检自动化的发展,地下管廊中机器人定位问题日益凸显,迫切需要一种简单可靠的定位手段。虽然GPS系统有效解决了室外移动物体的一般精度定位问题,但是因为隧道内无GPS信号,移动定位必须另辟蹊径。同时考虑到隧道环境的特殊性,即横截面尺寸远远小于隧道长度,因此隧道内机器人定位主要是沿隧道进深方向的位置确定。本文借鉴类似人类确定自身位置的原始做法,采用摄像头及隧道语义地图并辅助里程计等其他异
首次出现于2019年年末,并在2020年大规模无差别攻击了世界各地人民的新型冠状病毒(COVID-19),对全球经济和各国人民的生活造成了巨大且不可逆转的影响。由于新冠疫情是突发且毫无征兆的,所以之前的一些研究数据也统统失效,许多问题就从原来传统的确定性问题转化为非确定性问题,研究网络也从原来的确定性网络变为非确定性网络,在此存在很多非确定性因素的网络下,对一些经典的优化问题的研究也就成为了各专家
随着公路交通枢纽和物流货运设施建设加快推进,四川省物流业正全方位快速发展,公路货运水平不断提高。四川省公路货运量是衡量四川省运输行业发展的主要指标,是反映四川省经济发展的重要依据,也是政府制定公路运输基础设施规划的重要参考。为了合理规划四川省公路运输基础设施建设,使得公路货物运输供给需求保持平衡,需要对四川省公路货运量进行准确的预测。目前公路货运量的预测方法有很多,但均存在各种问题。首先,原始公路
几十年来,基于布里渊光纤散射的分布式应变和温度传感技术,已经引起了广泛的关注。迄今为止,已经采取了多种方法来获取有关布里渊增益谱(BGS)分布的信息,从中可以得出应变或温度变化的幅度和位置。其中的布里渊光学时域分析(BOTDA)性能甚至达到了亚厘米级的空间分辨率。但是,实用的BOTDA分布式应变和温度传感技术存在测量时间长,温度与应变同时测量互相干扰,现场测试时需要的准备工作繁琐复杂等不足。论文比
木片作为一种常见的生物质燃料,广泛应用于工业生产和日常生活中。木片的水分含量会影响燃烧效率,与安全性和经济性息息相关,因此对木片水分的测量很有必要。电容法因其结构简单,成本低等优点,被广泛应用于各种工业生产中。但是电容法测量木片水分易受到木片种类、环境温度和容积密度等因素的影响。本文采用了一种螺旋式的电容传感器进行木片水分含量的测量。与平行式电容传感器相比,这一结构的传感器灵敏度分布更均匀,可以提
学位
智能电网己成为未来电力系统的发展趋势,由于楼宇负荷在电力系统中占有较大的比重,同时具有较强的可调度能力,所以楼宇能量管理是电力系统需求侧能量管理的主要实施对象之一。本文以智能楼宇群为研究对象,为了使其更好地适应服务于电力系统需求侧能量管理,在以不损害智能楼宇用户舒适度的前提下,楼宇能量管理系统通过对用电负荷进行调度从而削减负荷峰值并降低用户用电成本。本文以智能楼宇群用户的能量优化为核心,研究了智能
当今许多Web服务提供商都将其业务服务发布在云端,这导致了大量的且功能相似的Web服务数量呈井喷式增长,使Web服务发现愈发具有挑战性。在现有的这些服务注册中心中,Web服务通常用Web服务描述语言或简单的自然语言文本描述。如何准确、高效的检索到符合用户需求的Web服务已经成为当前研究的热点问题。对具有相似功能的Web服务进行分类是促进Web服务发现的有效途径。早期的服务分类方法大多是基于传统的机
重型燃气轮机控制系统是燃气轮机的核心组成部分,随着重型燃气轮机技术的发展,控制系统的结构和功能越来越复杂,控制过程中的某一部分发生问题,会造成整个系统控制性能降级,甚至可能导致系统整体故障。此外,控制系统数据传输中存在丢包、时滞等问题,这些问题可能导致网络通道拥塞甚至瘫痪。同时,由于燃气轮机控制系统数据传输网络的开放性,可能遭受网络攻击的威胁,影响燃气轮机系统性能。基于上述考虑,本文展开如下研究:
与常见的面部表情不同,微表情是一种微妙的、不自觉的面部表情。常见的面部表情有时具有欺骗性,微表情却能反映一个人内心的真实情感。微表情由于持续时间短、强度低,很难被正确的理解和解释,所以微表情的准确识别是一个巨大的挑战。微表情识别是一个新兴的研究领域,目前正处于发展的早期阶段。我们提出了一种关注微表情峰值帧附近光流信息的3D-Apexflow微表情识别算法。首先,我们从每个微表情视频序列中获得峰值帧