基于Apache Spark的公共自行车使用状况分析

来源 :太原理工大学 | 被引量 : 8次 | 上传用户:yzgsmallfish
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着我国乃至世界范围内的城镇化进程的推进,城市交通正面临前所未有的压力。一方面交通拥堵造成了极大的时间浪费,由此带来不可预估的直接或间接的经济损失;另一方面大量的用车还带来了极大的环境污染。近几年来公共自行车作为一种新型的公共交通出行方式受到了广泛的关注。它扩展了传统公共交通,如公交车、地铁等不能触及的城市交通出行的末端,很大程度的解决了公共交通“最后一公里”的问题。但是由于城市出行的不确定性,特别是潮汐现象等造成了公共自行车经常出现“借车难”和“还车难”的现象。本文针对公共自行车历史数据量大、数据结果展示复杂、影响公共自行车使用的因素复杂等诸多问题,对第三代公共自行车的使用特性和使用量预测进行了基于Apache Spark大数据平台的分析与研究。本文主要完成的研究内容如下:(1)阐述了公共自行车作为城市出行中重要的组成部分对绿色出行、倡导低碳生活的重要意义,以及在大数据时代背景下,公共自行车项目使用大数据工具的必要性。(2)通过对大数据工具的梳理,搭建了以Apache Spark为核心的公共自行车使用分析的大数据处理平台,并通过D3.js、Carto、Python和R等工具和编程语言实现数据的可视化展示。(3)以美国纽约市的Citi Bike公共自行车系统的开源数据作为本文实验数据,使用Spark SQL和Spark Dataframe编程实现对公共自行车用户和站点两个角度的使用状况的统计与分析。总结了不同用户类型对公共自行车使用的影响;并使用K均值聚类算法对站点的使用规律做了分析。(4)基于Spark MLlib机器学习库,使用随机森林和梯度提升回归树两种算法实现对Citi Bike每日使用量的预测。以历史天气数据为决策树特征进行模型建立,并对所建立模型结果进行了评价,验证了所选算法的可靠性。
其他文献
当代中国共产党的党员干部是否具有坚定的共产主义理想和中国特色社会主义信念,不仅直接关系到党的执政能力、关系到经济社会的科学发展和和谐社会建设、关系到党员干部队伍
异香兰素,化学名3-羟基-4-甲氧基苯甲醛,是一种非常重要的香料和食品药品领域应用广泛的医药中间体。近年来市场对异香兰素需求量不断增大,使得异香兰素的合成与应用研究也成
随着电影创作的深化,许多香港和台湾的电影人选择北上拍合拍片,这就出现了台湾和香港的电影人想要保持本土的文化,又要获得内地观众认同的现状。本文分析了香港电影人在合拍
2002年7月1日,随着《国际刑事法院罗马规约》的生效,国际刑事法院正式成立。作为世界上第一个常设性国际刑事法院,它的成立标志着国际刑法领域的重大发展,对国际社会产生了重
教育是中华民族伟大复兴的基础工程,小学阶段教育又是基础的基础。随着我国经济的不断发展,人们的经济水平提高了,对教育越来越重视,家长及学生对课外辅导的需求也越来越旺。
海量数据分类一直是数据挖掘、机器学习和人工智能的研究热点,海量数据分类是应用训练集构造一个分类器,应用这个分类器能够完成后续分类工作。本文深入研究了两种基于统计学
通过重量法制备乳液化妆品基体的标准物质。使用色谱或者色谱-质谱联用仪对乳液化妆品基体进行检测,确保其中不含有待添加的目标化合物。使用差示扫描量热仪、色谱仪对目标添
交通流预测是交通诱导系统和交通控制系统的重要前提与关键,而交通流预测问题从本质上讲是时间序列分析问题。对于时间序列,现在已经有很多种研究和分析方法,常见的以建模分
面对惩罚,不少教师表现为两个极端:要么一味拒绝惩罚,谈“罚”色变;要么过度提倡惩罚,“罚”不择“法”。那么,该如何理智地面对惩罚呢?笔者认为可以采取三个方面的策略:先处理