在过去的数年中,我们见证了大数据技术的重大变革,为了满足不断增长的数据量和处理速度的需求,大多数企业都将业务迁移到分布式平台上。如今,物联网也慢慢地发展起来,越来越多的智能设备也加入到网络中。从传统的监控摄像、网络视频,到各种智能终端搭载的成像设备,不尽其数的数据源都在产生大量的、有价值的视频数据流。然而,处理如此海量的非结构化数据对于很多企业来说困难重重,更不用说满足用户对于实时性的需求了。针对上述问题,本文在Spark技术的基础上,设计并实现了一个分布式实时数据处理架构,在应对海量视频数据处理需求的同时,为用户提供可靠的实时性。文中涉及到的主要工作如下:首先,设计平台整体架构以及三个子系统的架构,包括视频流ETL系统、分布式实时视频流处理引擎以及分布式文件系统。其次,实现视频流ETL系统,包括抽取、转换和加载。针对视频流的特点,使用Kafka消息队列解决视频数据的分布式加载问题。之后,基于Spark实现分布式实时视频流处理引擎,提供三种实时处理的方案,并使用人脸识别的案例,将图像视觉处理技术应用于实时处理中,从理论建模和实践的角度去探索实时视频流处理的可行性。我们的平台还允许实时处理和交互式查询相结合,从而产生更丰富的应用。最后,本文实现了两层架构的分布式文件系统,包括磁盘级的HDFS和内存级的Tachyon,使用分布式内存文件系统Tachyon作为底层文件系统和计算引擎之间的中间层,将内存管理和数据计算分离开来,使得平台拥有更高的执行效率。