【摘 要】
:
在大数据、人工智能深度融合发展的数据科技时代,城市计算为解决交通拥堵等城市问题提供了新思路和新途径。构建数据驱动的智能交通系统是打造以数据为中心的智慧城市的关键任务,而高效精准的交通流量预测是建设智能交通系统的重点内容。本文基于Hadoop分布式计算平台,采用MapReduce和Spark并行计算框架,结合移动轨迹(出租车)大数据,研究短时和实时交通流量预测的理论、方法与应用,致力于解决交通流量预
论文部分内容阅读
在大数据、人工智能深度融合发展的数据科技时代,城市计算为解决交通拥堵等城市问题提供了新思路和新途径。构建数据驱动的智能交通系统是打造以数据为中心的智慧城市的关键任务,而高效精准的交通流量预测是建设智能交通系统的重点内容。本文基于Hadoop分布式计算平台,采用MapReduce和Spark并行计算框架,结合移动轨迹(出租车)大数据,研究短时和实时交通流量预测的理论、方法与应用,致力于解决交通流量预测的鲁棒性、准确性和实时性问题,为交通动态监管、交通预警控制和交通便民服务等提供理论基础与技术支撑。本文研究的主要工作及创新性如下:1.在大数据分析平台搭建方面:搭建基于MapReduce和Spark并行处理框架的Hadoop分布式计算平台(大数据分析平台),解决移动轨迹大数据分布式存储与并行计算问题。首先,基于大数据分析平台,实现大规模移动轨迹数据的数据清洗、数据转换和数据标准化等数据预处理;其次,基于MapReduce并行计算框架,实现短时交通流量预测;最后,基于Spark并行计算框架,实现实时交通流量预测。2.在短时交通流量预测方面:提出基于MapReduce的分布式WNDLSTM模型,预测短时交通流量。首先,在Hadoop分布式计算平台下,提出了一种基于MapReduce的交通流量预测分布式建模通用框架,以解决大规模交通流量数据处理时存在的存储和计算问题,并采用卡尔兹曼滤波(KF)对原始GPS出租车移动轨迹数据进行滤波,去除异常点实现离散型数据平滑;其次,在基于MapReduce的框架上提出了一种分布式WND-LSTM模型,通过时间窗口和正态分布给长短时记忆神经网络进行加权求代价;最后,利用所提出的WND-LSTM模型和真实出租车GPS移动轨迹大数据对北京市三里河东路的交通流量进行了短时预测。3.在实时交通流量预测方面:提出基于Spark的分布式W-Bi LSTM模型,预测实时交通流量。首先,在Spark分布式计算平台下,采用卡尔兹曼滤波(KF)对原始GPS出租车移动轨迹数据进行滤波,去除异常点实现离散型数据平滑;其次,在基于Spark的框架上提出了一种分布式W-BiLSTM模型,利用时间窗口和相邻路段之间的相互影响给双向长短时记忆神经网络进行加权求代价,通过代价转化为一个时间序列预测交通流量,组成随时间序列来预测变量在未来时刻的状态,用于实时交通流量预测;最后,我们利用所提出的W-BiLSTM模型和真实出租车GPS移动轨迹大数据对北京市三里河东路的交通流量进行了实时预测。
其他文献
我国正处于城镇化加速阶段,导致城市风环境逐渐恶化,寒地城市因其独特的风环境特征,冬季雾霾频发的同时还伴随着热舒适度差的现象,与非寒地城市风环境问题截然不同。目前关于城市气候的研究已初具成效,但研究成果难以与现有城市规划或城市设计进行衔接,导致关于城市气候研究的成果无法落实。改善城市风环境首先从需要城市整体角度出发,通过城市整体层面结构优化和空间形态控制,进而达到改善城市气候环境的目的。2017年3
当前,STEM教育在中国进入蓬勃发展阶段,时代发展与社会经济的推动使得STEM教育面临着前所未有的机遇与挑战。凝心聚力,砥砺前行,我国正尝试探索出一条中国特色的STEM教育道路,STEM教育被纳入国家战略发展政策,各地相继推行STEM课程试点学校申报,STEM教育研究在理论与实践方面取得一定进展。但与此同时,当前教育体系下的课程模式制约着STEM教育的推行,STEM课程开展的有效性与课程设计的规范
协同过滤推荐算法是一种当下应用广泛的推荐技术,是智能电子商务的重要组成部分。虽然传统的协同过滤算法已经实现了智能推荐,但是其推荐精度任然不高,推荐结果的个性化程度
我国《民法总则》第十条的规定,首次从立法层面确立了习惯的法源地位,交易习惯作为习惯的一种,具有解释、补充合同和鼓励交易等意义。根据我国《最高人民法院关于适用<中华人民共和国合同法>若干问题的解释(二)》规定,交易习惯是某地区、某行业或当事人之间的习惯做法,并且主观上要求“知道或应当知道”,结合自身的时间性、领域性、主体特定性等特点,交易习惯为大众或特定人所熟知、应知的,且被重复使用的社
传统的紧耦合网络为人带来便利的同时,其诸多弊病也为越来越多的人所诟病。因此,近年来许多人都开始研究和探索新的网络体系结构,软件定义网络(Software Defined Networking,
创新是一个国家经济健康发展的关键,核心技术的自力更生更是关系到国家安全与经济命脉,而企业创新是国家创新的经济基础。作为创新型企业不断创新的重要驱动力,风险投资为企
农业是我国经济发展的基础,而农业现代化是整个国民经济现代化的基础。由传统的依赖投入大量要素的粗放型农业经济增长方式转变为通过农业全要素生产率增长为推动力的创新驱动型增长方式,是实现未来中国农业经济可持续发展的关键所在。乡村振兴战略提到“发展乡村普惠金融,优化金融资源配置”,强调了农村普惠金融发展在农业现代化进程中的重要作用,为新农村建设指明了方向。本文以金融发展理论为基础,普惠金融相关理论、金融对
随着计算机存储技术的发展,日常生活中产生了海量数据。对大规模数据进行分析,从中挖掘出隐藏的有价值的信息逐渐成为当今时代的热点。聚类技术和降维技术是两种常用的数据分析方法。聚类用以寻找数据内在的分布结构,降维用以缓解维度灾难。但是传统数据分析方法在分析海量高维数据时存在操作过程繁琐,分析准确率低等缺点,因此研究用于同时实现聚类和降维的高精度模型势在必行。本文首先提出了基于曲线距离分析的嵌入式聚类算法
随着现代光学事业的迅速发展,超精密光学产品已经广泛应用到了各种高新技术行业,尤其是大尺寸光学元件在航空航天等领域有大量的需求。由于精密光学产品的制造工艺复杂、难度
铁路市场化是不可避免的趋势。铁路各个部门和各个路局都想开展收益管理,以此提高资源利用率,提高运营效益。想要实现收益管理,前提是对客流进行较为精准的预测。效果较好的客流预测将会给收益管理带来极大的方便,进而提高收益。中短期的客流预测是了解客流动态变化趋势的重要手段,是铁路运营部门进行合理营运管理的基础。伴随着互联网售票的逐渐建立和完善,铁路客票系统的数据得到了质与量的保障,积累了丰富的历史数据和有用