基于大数据技术的人口数据分析平台设计与实现

来源 :南京邮电大学 | 被引量 : 0次 | 上传用户:ab888
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
分析人口数据情况是科学决策的重要基础工作,人口数据是制定各项政策的依据和前提。当前人口统计不能满足人口管理、提高公共服务质量和水平的需要。城市现有的人口数据库已经遇到瓶颈,存在数据字段不全、缺乏有效验证机制的问题。随着时间的推移和业务的发展以及大数据时代的到来,需要交换的数据量和频率都会增大,无法满足日益增长的业务需求。因此,需要通过大数据存储、计算、分析、挖掘等技术,建立一套人口数据分析平台,解决上述问题。实时记录人口的属性特征、结构特点和变化规律是巨大的系统工程,现在的人口数据已成为大数据,建设人口数据分析平台需要运用大数据技术。本文研究的人口数据分析平台旨在运用大数据技术,实现各类基础数据、管理数据、运营数据的集中定义、集中存贮和集中使用。对于更新比较频繁的数据,使用Spark技术进行快速计算和分析,对于更新不是太频繁的数据,用Hadoop技术来进行数据计算和分析,Hadoop集群本身采用Zookeeper技术进行作业的协调和调度。人口数据分析平台功能上包括实现各类数据按照收集、准备、建模、结果、展现、归档的增值过程分级进行存储,以及实现以上功能所需的管理应用环境和技术支撑框架。平台主要为上层应用系统提供全局统一的数据综合利用及管理环境,为各类具体应用(应用子系统或子模块)提供统一的数据存储、加载、查询、分析以及展现的平台框架。
其他文献
在小学数学课堂教学中,引导学生在数学学习的过程中深入思考问题是重要的方法。在教学的过程中通过塑造情境,让小学生转变被动学习为主动学习。但是从当前的小学生数学教学情
骨组织工程的出现为骨组织缺损修复提供了新的方向,而组织工程支架是构建组织工程骨的关键,近年来得到人们的广泛关注。支架材料的性能决定复合支架的最终特性,因此选择合适
德国应用科技大学是培养应用型人才的高等教育机构。德国应用科技大学的内外部治理呈现以下特点:联邦政府削权放权与加强宏观调控相结合,实现整体国家责任与各州利益之间的平
长期困扰我国扶贫开发工作的扶贫治理主体之间的合作问题,既存在宏观体制缺陷、微观政策的误导,又根植于经济贫困、部门利益,是多方面问题纠结累积的结果。
【关键词】 小学数学;解决问题;策略  【中图分类号】 G623.5  【文献标识码】 A  【文章编号】 1004—0463(2019)22—0080—01   《数学课程标准》对“解决问题”这一部分提出了具体的目标:“初步学会从数学的角度提出问题、理解问题,并综合运用所学的知识和技能解决问题,发展应用意识;形成解决问题的一些基本能力,体验解决问题策略的多样性,发展实践能力与创新精神。”“解决
会议