论文部分内容阅读
随着科学技术飞速发展,图像以其具体、直观的特点成为获取信息的主要手段,被广泛应用于数据表示、信息传递和交流通信,在计算机视觉、模式识别、医学图像处理、遥感图像处理、图像信息检索、导航制导、三维重建等众多领域获得广泛应用。这些应用都需要在不同传感器(成像设备)、不同时间、不同条件下获取的两幅或多幅图像间建立对应关系,而且对计算实时性要求非常高。但归咎于问题的复杂性,不使用特殊硬件的普通个人电脑非常难满足计算实时性的需求。本文的研究目标是设计出独立通用、功耗低、体积小、速度快的视觉特征检测与匹配硬件架构。首先,通过大量比较分析发现,SIFT算法是最鲁棒的特征检测与描述方法之一,相对于其他方法的重要优势在于,其对图像位移、尺度变换和旋转变换都具有不变性,同时对光照变化、仿射变换、投影变换以及噪声也具有相当的鲁棒性。然而,它的计算量非常大,通过纯软件方法难以满足计算实时的需求。本文提出一种基于FPGA+DSP的SIFT特征检测与描述向量提取硬件架构,很好的融合了FPGA的并行/流水特性与高性能DSP的灵活性,利用二维高斯核的可拆分性和对称性优化二维高斯滤波器,通过提炼并改造特征检测模块的并行性优化SIFT特征检测模块,通过实验分析确定梯度方向与模值计算模块、SIFT特征检测模块的字长,因此本架构能够在不损失匹配精度的前提下降低FPGA资源占用率。该系统在分辨率为320x256的图像中检测SIFT特征点仅耗时10ms,提取单个SIFT描述向量耗时80us,特征数量不超过200时,其计算速度达到50帧/秒。虽然上述FPGA+DSP硬件架构能实时检测SIFT特征并提取描述向量。然而,它没有实现描述向量匹配步骤,并且需要两个芯片协同工作,必须以单板形式存在。本文进一步提出基于单片FPGA的视觉特征检测与匹配的全并行/流水硬件架构,通过综合分析各模块的像素吞吐率与计算量需求、改进二维高斯滤波器层叠结构、提炼BRIEF描述向量提取与匹配的并行度,从而降低FPGA资源占用率,使整个视觉特征检测与匹配系统能在单片FPGA中实现。它能以60帧/秒的速度在1280x720图像中检测SIFT特征点、提取并匹配BRIEF描述向量,满足大部分应用系统对特征检测与匹配计算实时性的需求。大量实验证明,该系统大大的提升了视觉特征检测与匹配的计算速度,并保持相当的匹配精度。整个系统在单片FPGA中实现,由相机直接驱动,因此可以非常方便的集成到智能相机、视觉导航机器人等嵌入式系统中,提供可靠的图像对应关系。最后,本文通过两个实例阐述实时视觉特征检测与匹配硬件架构的应用。首先利用本文提出的FPGA+DSP硬件架构加速基于SIFT特征的月球着陆器水平测速算法中最耗时、占内存最多的SIFT特征检测及描述向量提取部分,使整个系统能在规定时间内估计着陆器的水平速度,满足着陆器对计算实时性的需求。然后利用本文提出的基于单片FPGA的实时视觉特征检测与匹配模块,加速未标定相机双目视觉视差估计算法中计算量最大、占内存最多的视觉特征提取与匹配部分,消除双目视觉系统对相机内参和几何关系已知的约束,降低对安装工艺精度的要求。本文提出的两种实时视觉特征检测与匹配硬件架构,满足机器视觉应用系统对功耗、体积、计算实时性等方面的约束,在导航制导系统、立体视觉机器人系统、目标跟踪、三维重建等应用领域都有非常重要的理论意义与应用价值,有利于促进机器视觉系统的实际应用。