基于MapReduce地价分类模型探究实现

来源 :电子科技大学 | 被引量 : 1次 | 上传用户:kobe7751790
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着我国城市化进程的推进以及土地市场化程度的日益提高,土地成交价格在当今城市经济活动中的作用越来越显著,不仅是地产、金融等相关从业人士及政府工作人员,包括广大人民群众都对城市地价表现出高度的关心。合理的城市地价制定一方面能高效控制城市规模、合理优化城市产业结构、积极拓展招商引资、科学指导房地产金融相关政策制定,同时能合理促进城市化发展提高城市核心竞争力。同时随着各类摄影测量工具精度的提高,以及计算机、网络技术发展,相关数据在分辨率提升的同时体量也在不断增大。面对海量的栅格地图数据或者空间信息数据,普通个人电脑在进行空间数据计算分析时逐渐显现出性能瓶颈,需要一套高效、稳定的“云端化”方案来提升空间数据处理能力,降低使用成本。然而目前业内在云计算方面发展尚属起步阶段,还没有一款设计合理、功能全面的web应用,本研究尝试使用Hadoop来解决空间数据计算、获取、分析等多方面实际问题,旨在推动空间数据“云端化”进程,这也是本文核心创新点所在。Hadoop是Apache旗下的开源分布式计算架构,其组成核心是一个分布式文件存储系统HDFS(Hadoop Distributed File System)和一个并行计算框架MapReduce。其优点在于对计算机底层的分布调用过程进行了封装,将分布式计算标准化为简单的Map和Reduce过程,使开发过程清晰明了的同时保证了系统的高效性和高容错性。本研究主要涵盖以下三个方面的内容:第一方面是基于MapReduce的分布式空间数据计算算法设计。论文查阅ArcGIS技术文档以及开源GIS软件的串行计算源码梳理出单机串行条件下多种空间数据计算算法的实现思路,再结合MapReduce自身机制的运作特点,开发实现了分布式条件下栅格图像的坡度分析、缓冲区分析、欧式分配、核密度分析等常用功能。第二方面是数据获取和数据预处理。论文数据范围确定于成都市主城区,数据涵盖土地交易数据以及兴趣点、DEM(Digital Elevation Model)、道路数据、河流数据、公交站点、地铁站点等影响因素数据。数据主要由两种渠道获取,一是实验室现有的数据,二是爬取自网络的数据。编写爬虫时结合MapReduce、线程池等技术开发出分布式异步爬虫,使得数据爬取效率有所提升。影响因素数据预处理时又用到了第一步研究内容中开发的分布式空间数据计算工具,最终生成用于分类的地价数据集。第三方面是利用分类模型对地价数据集进行分类。首先对现有成熟的分类方法如朴素贝叶斯、k-近邻、随机森林、神经网络、支持向量机进行研究,选取适宜的方法研究其分布式条件下实现策略,并且在单机及分布式条件下进行比较。然后将地价数据集放入模型进行训练并回测,分析结果。最后从宏观因素补充数据集、关联分析精简数据集两个角度探究对分类精度、训练效率的影响。
其他文献
兴趣被描述为个体与其周围环境的互动关系,既是一种状态又是一种倾向,是认知、情感和行为等多种成分的复合体。兴趣可分为个体兴趣和情境兴趣,在一定条件下情境兴趣可以转化
<正>"父母呼,应勿缓。父母命,行勿懒。"深圳市宝安区石岩街道上屋小学三(2)班学生用稚嫩的声音齐诵脍炙人口的《弟子规》,在琅琅的书声中,不知不觉受到了传统美德的熏陶,同学
细胞核图像的精细分割是各种计算病理学应用的起点,包括核形态分析、细胞类型分类和癌症分级等等。由于癌细胞的侵入性,一旦扩散难以治愈。通过活体组织检查观察细胞的早期突变从而尽早确诊治疗是目前一个有效的方式。但是病理科大夫借助显微镜观察标本组织的方式费时费力,极大的占用了宝贵的医疗资源。而且组织细胞中细胞核的定位又是绝大多数医疗研究的基础工作。例如,快速的定位细胞核,在药物测试中能够加速细胞核对药物反应
为了清洁、高效且低成本开发刚果(金)某含钴0.606%、铜1.45%的钴矿产资源,针对该矿赋存状态复杂、含泥量高等问题,采用新型活化浮选—磁选联合工艺流程,最终获得的综合精矿钴
作为一名初中教师,怎样才能更好地与学生进行交流呢?我认为正确地利用学生周记及周记评语的作用,是班主任与学生间建立起感情,沟通思想的一种良好手段。下面就本人在担任班主任
报纸
<正>北京建工博海公司作为混合所有制企业,在集团公司党委《关于加强北京建工集团国有参股企业党建工作的指导意见》文件精神指导下,在创先争优活动中,创新载体,大力开展"党
词汇作为各种语言活动的基础,在语言学习和教学中起着至关重要的作用。学生掌握词汇的数量和质量直接影响他们听、说、读、写等英语综合能力。然而,我国目前的中学英语词汇教
《俄罗斯革命时期艺术》是维克多尔·尼古拉耶维奇·亚历山大洛夫所著的《俄罗斯艺术史》的节选。《俄罗斯艺术史》是一本学派简明手册,书中介绍俄罗斯各个时期的艺术,比如建
关于《上山采蘼芜》一诗的鉴赏,一直存在着误读。从对诗中的“蘼芜”、“好”、“姝”的考释中,可以重新确定本诗的主旨,进而对诗歌所述说的社会生活进行正本清源的理解。
期刊
本文以城市邻避危机管理为视角,在案例分析基础上,探讨社会组织参与城市管理的具体路径和发展方向。首先,在文献评述基础上确定研究思路。其次,选取了美国、英国等国家典型的