论文部分内容阅读
近年来,随着移动智能产品的迅速推广,产生了大量的数据,特别是以图像为代表的多媒体数据呈指数式增长,促使了图像大数据处理技术的诞生。如何对海量图像实现快速检索,是图像大数据技术研究的热点问题之一。在图像检索任务中,使用深度学习对图像表征逐渐成为趋势,但如何训练一个参数少、性能好的网络是个难点。在对图像提取局部特征后,可借助VLAD(Vector of Locally Aggregated Descriptors)算法设计图像检索模型,但该算法的检索性能与视觉单词的数量有关;另外其也没考虑局部特征和多个视觉中心距离相近的情况,而它们对检索精度都会造成比较大的影响。针对以上问题,本论文结合Spark大数据技术,对深度学习模型AlexNet和VLAD算法进行了深入分析和研究,提出了一种性能良好的分布式图像检索方法。本文的主要研究工作如下:1.对深度学习模型AlexNet进行了剖析并提出了改进方法。由于深度网络可以用于图像特征提取,因而在分析了深度网络的基本结构和优化方法之后,分别从AlexNet网络结构、参数微调及分布式梯度下降中Master-Slaves通信冲突和延迟等方面对模型进行了改进,设计了一个分类性能更好的深度网络。2.在VLAD基础上提出了软硬结合的VLAD算法。先对VLAD的性能依靠视觉词典的大小进行分析,提出使用两层视觉词典;然后考虑了局部特征可能和多个视觉单词相关,对权重系数使用软分配与硬分配结合的方法进行赋值。3.并行检索系统的实现。首先使用改进的AlexNet网络,以滑动窗口的方式,对同一图像提取多个子图像;然后对提取的子图像使用改进的VLAD算法进行处理,设计基于Spark平台对改进的VLAD向量进行并行实现;最后对该向量进行乘积量化分解为子向量,把子空间数据存储在不同的Slaves节点上,并在每个节点上对这些数据设计索引,从而实现并行检索以加快检索性能。