随着大数据和人工智能时代的来临,国防安全、金融商业、交通管理等诸多应用领域都朝着智能化,大数据与云计算方向发展。无论在哪个领域都会产生海量的数据,使用传统数据处理技术对海量数据处理、分析效率非常低,即使使用Hadoop核心之一的分布式计算框架Map Reduce来处理、分析效率也偏低。因此,需要新的海量数据处理、分析方案来解决海量数据处理、分析效率低的问题。新方案主要架构,包括Spark大规模数据计算、Hadoop HDFS和HBase分布式底层存储以及消息队列Kafka等。本文是基于新的方案技术和Open CV库对海量视频数据进行处理以及人脸识别应用。实质是利用Spark分布式计算框架对海量视频数据进行并行计算处理,并基于OpenCV视频图像处理库自定义Java处理过程进行人脸识别。首先通过前端设备采取视频数据缓冲到Kafka缓冲队列中,并以视频关键帧提取方式将视频数据转化为视频帧,其次基于Open CV处理库,将视频帧图像进行图像预处理,增强图像人脸识别过程中所需的属性信息,并通过人脸检测筛选人脸图像和非人脸图像、人脸姿态优选筛选好的人脸图像,剔除无用的图像。以此为基础上进行SIFT人脸特征提取,并将提取的人脸特征描述存储在HBase中以及进行人脸数据库收集。最后将待测的人脸图像中提取到的特征向量跟人脸数据库的数据进行匹配并将结果返回给用户。新的处理方案能大大提高海量数据的处理、分析效率,且拥有诸多优点:架构更加灵活、扩展性强,为系统后期扩展和迭代升级带来方便,也为后期的业务扩展和管理提供了便利;基于HDFS和Spark的特点,系统集群可以搭建在廉价通用性的机器上,降低了集群的搭建成本和后期系统维护成本;数据资源存储形式具有多样化,可结构化的,半结构化的和非结构化的数据形式,并基于资源数据映射方法进行有效的资源管理;基于分布式Spark并行计算技术能高效快速处理传统CPU难以实现的算法。