近年来,随着互联网行业的迅猛发展和居民生活水平的提高,人们对生活的安全感和环境的质量要求越来越高,越来越多的人们选择非机动车辆出行,大家都希望生活在文明有序、平安和谐的环境中。与此同时,各地政府部门都在推进“互联网+”建设,提高监管服务效能。论文选题来源于“城市车辆智能防控系统”项目。系统通过给每辆电动车发放电子车牌和在各区县主干道安装传感设备的方式,来采集城市电动车的信息,解决城市电动车辆的监控、管理和被盗追查等问题,为某市公安局提供城市电动车辆的统一管理。由于区县内电动车数据接收量越来越大,因此车辆数据接收和实时数据处理成为当前项目中的一个难题。本论文针对“城市车辆智能防控系统”项目中数据接收量越来越大,导致数据处理中存在响应延迟、数据丢失以及过高的内存负载等问题,利用Kafka具备的高可靠性、异步通信和横向扩展能力,以及Netty减少资源消耗、充分提高资源利用率的能力,和Spark Streaming对数据进行快速分析并实时响应的能力,对数据采集及数据处理模块进行优化,实现一个具有高可靠性、低延时性的数据采集与实时处理系统。本文通过对现有项目背景和相关技术的分析,主要工作内容如下:(1)系统需求分析。对平台系统进行建模,分析数据采集与实时处理系统的需求,总结得到系统的功能性需求和非功能性需求。(2)系统设计与实现。结合系统需求,设计数据采集与实时处理系统的总体架构。首先,使用异步通信框架Netty实现数据记录的接入和解析;接着,基于Spark Streaming实现数据采集器的状态维护、重点对象布防与实时报警等功能;最后,利用Hbase和Redis完成数据记录的存储以及热点数据的缓存。(3)系统测试。部署系统测试环境,完成系统的功能测试,并在数据接入、数据压缩和处理时间等多个维度对比分析原有系统和本文系统的差异。经过系统测试,本文系统实现了终端设备状态检测、基础设备更新和布防报警等功能。同时,系统数据压缩率相比原有系统提高了33%,数据入库消耗时间低于5s,且可保证1000台机具的稳定接入,满足了高并发接入指标,达到用户提出的系统性能需求。测试结果表明,本文系统在数据接入、数据压缩和处理时间等多个维度均优于原有系统。