在现今社会的诸多领域,大数据能够带来的价值已经的吸引了越来越多人的注意。由于人们的关切让大数据相关技术快速发展、在国家战略方针、学术上探究和生活生产中的应用广泛的展开,现今很多国家将发展大数据写入国家未来蓝图的规划中,中国在大数据方面的取得进步更是有目共睹的,智慧城市,无人公交车已经落地。现实生活中对挖掘海量数据中潜在某种特殊规律的欲望没有被满足,掌握大数据技术的人员仅仅停留使用平台做事对于平台的搭建以及平台组件的组合不了解,从整体来看对大数据的应用初具规模,企业对大数据平台的有效管理迫切需要。大数据平台管理系统是在某公司实习期间切合具体业务开发的,公司有大数据平台但是对于集群的管理和集群的扩容需要花费大量的时间,一千个人有一千种出错的方式,因此需要一个平台来规范数据平台的搭建与维护。在彻底掌握公司的大数据平台的整体架构后,开始着手开发切合公司业务流程的大数据平台管理系统,并结合之前的安装经验与Java Web开发技术以及公司具体的业务流程,可以更好的开发系统,相比于业界的Hadoop cdh也提供页面的提供扩容工具,但是只能扩展Hadoop,而本系统不但可以扩展Hadoop还能扩展spark,flume等业界主流的大数据开发组件。很多组件都是根据公司的业务线场景进行的二次开发,不同于官网的安装包,用的安装包是使用RPM打包后的,这对软件静默有很效果。对平台中大量的配置文件做了统一的管理,系统的数据存储采用多种方式相结合配置管理采用Zookeeper而日常操作数据的记录存入My SQL中,这样有利于排错和系统恢复。Master端、Slave端、Zoo Keeper配置管理服务,在系统实现的描述中对这三块有详细的描述并给出了部分的效果图或者流程图,在最后的系统测试部分对系统进行了功能性测试以及性能测试,验证程序是否符合要求。大数据平台管理系统为大数据平台的落地提供了便捷的通道,大大降低了大数据平台的扩缩容的难度,并对平台的配置文件进行高效的管理。系统已经投入生产环境使用,业务方反映良好。