随着我们的社会迈入大数据时代,社会中的数据呈现指数级增长,根据国际数据公司(IDC)的发布的数据统计白皮书,在2016年全球大约产生了16.1ZB数据。报告指出到了2025年,全球数据量将达到163ZB。在这个高度信息化的社会,数据作为一种重要的战略资产,对组织领导决策的制定有着至关重要的影响。在这海量增长的数据中,夹杂着各式各样的问题数据。由于低质量的数据做出的错误决策,每年都会给组织造成难以衡量的损失。数据质量问题已经成为现代社会各个组织必须要面临解决的问题。信息化组织需要一种能够对系统每年增长的大量数据进行检测的管理系统。本课题设计的系统中,包含数据模型解析管理、检测模型管理、调度任务管理、数据资产管理、订阅监控管理、可视化展示六大模块。数据模型解析管理,可以帮助用户将模型中的数据字段解析出来,与云平台中的字段进行匹配,为模型设置准备字段。检测模型管理模块,让用户创建符合业务逻辑的检测模型。调度任务管理模块,让用户能够控制模型的执行时间。数据资产管理,让用户可以注册自己需要管理的数据。订阅监控管理模块,使用户能够对检测结果进行监控。在本系统利用Spring Boot作为系统的框架,调度任务通过Quartz实现管理。鉴于数据源的数据量级较大,系统利用Livy将检测任务提交到Spark进行计算。计算完成的检测值存储到数据库中。系统读取数据库中的检测值并用Echart进行可视化展示。最后,数据质量平台对于具体的数据分别创建精确性模型、数据剖析模型,然后生成调度任务提交计算。系统能够较快的检测出数据重复、异常、缺失等问题,证明了检测模型的有效性以及数据质量管理系统的可靠性。