目前大数据行业日益磅礴的发展,在各行各业都有了深入的应用,金融、教育、工业、医疗甚至当前的防疫工作都展现了极其重要的作用,在这个大数据技术飞速变革的时代,物联网、互联网、5G智能终端渗透到生活的每一个角落,处处有终端、物物可传感、时时可上网,随着生产数据的规模迅速庞大,海量数据的交互形成了一张张紧密而又高效的网,将生活的动态与行为的秘密包含其中。而想读懂其中的秘密,大数据技术就成了一把必不可少的钥匙。截至现在,已经有了更多的企业、机构及组织意识到了大数据的作用,并开始寻求一种能挖掘出数据中所蕴含巨大潜在价值的方式。那么,回到数据的源头,以运营商为例,面对积累了十几年的数据,面对全国几亿的用户资料,该如何高效的建立大数据平台并将现有的数据有效的利用起来,就成为了一个困扰了许多人的难题。为了便于改善数据分析环境的存储能力和计算效率,有助于数据的使用和分析,本文设计了基于Cloudera Hadoop集群,针对多个域多维度数据的采集存储、加工、分析、评估系统。论文在以下几个方面进行了研究:（1）以课题背景开始论述,从数据的采集,加工,业务架构,处理及背景出发,学习并探索了目前国内外在数据平台中常用的处理方法和开发方向。并以运营商为例,针对不同类型的数据（B域、O域、信令、综采）及不同维度的数据（数据库、压缩文件、日志）,确定数据管理系统的需求概要,包括:业务流程上如何进行采集、处理、加工、分析,最终得到提供给产品及客户使用的数据表,并着重说明了设计流程时涉及的数据资产管理思想。（2）详细探究数据管理系统的核心模块,即数据采集、通过spark对海量关系型数据做详细处理及数据实现。分析核心模块的业务需求、通用解决方式、现阶段难点、处理要点等部分,为后续详细设计做紧密的铺垫。（3）将平台的业务设计与技术栈（例如Hadoop 2.X、Hive、Spark、Flink等）紧密的结合起来,使Map Reduce（Hive-Sql）程序和Spark（Python）发挥各自的作用和性能,最后在中台以各自的业务分类,构建出对应不同的模块及模型下的数据加工流,并统一由总体调度BDI流程将各自的数据加工脚本统一调度并集成监控管理。Kafka、Flume、Sqoop、Zoo Keeper和Hbase组合形成完整的大数据处理平台。（4）文内数据处理平台为Cloudera Hadoop集群,为了处理不同的数据（选取其中的一个集群为例）,需要将600-1000台物理机架构为统一的集群,详细讨论针对该类型庞大集群的监控需求及采取Prometheus与Alertmanager的特点和结构,并说明了在搭建集群过程中的搭建流程、需要注意的要点、常见错误以及平台架构。全文最终展现的研究成果是一个完整的的从数据采集、预处理、加工到分析结果、运维监控的架构是基于Hadoop 2.X（Cloudura版本）的分布式数据处理监控系统,该系统支持了整体数据平台的采集、加工、分析和对应产品输出的完整数据流的监控和校验。