实时视觉特征检测与匹配硬件架构研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:jinhao03
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着科学技术飞速发展,图像以其具体、直观的特点成为获取信息的主要手段,被广泛应用于数据表示、信息传递和交流通信,在计算机视觉、模式识别、医学图像处理、遥感图像处理、图像信息检索、导航制导、三维重建等众多领域获得广泛应用。这些应用都需要在不同传感器(成像设备)、不同时间、不同条件下获取的两幅或多幅图像间建立对应关系,而且对计算实时性要求非常高。但归咎于问题的复杂性,不使用特殊硬件的普通个人电脑非常难满足计算实时性的需求。本文的研究目标是设计出独立通用、功耗低、体积小、速度快的视觉特征检测与匹配硬件架构。首先,通过大量比较分析发现,SIFT算法是最鲁棒的特征检测与描述方法之一,相对于其他方法的重要优势在于,其对图像位移、尺度变换和旋转变换都具有不变性,同时对光照变化、仿射变换、投影变换以及噪声也具有相当的鲁棒性。然而,它的计算量非常大,通过纯软件方法难以满足计算实时的需求。本文提出一种基于FPGA+DSP的SIFT特征检测与描述向量提取硬件架构,很好的融合了FPGA的并行/流水特性与高性能DSP的灵活性,利用二维高斯核的可拆分性和对称性优化二维高斯滤波器,通过提炼并改造特征检测模块的并行性优化SIFT特征检测模块,通过实验分析确定梯度方向与模值计算模块、SIFT特征检测模块的字长,因此本架构能够在不损失匹配精度的前提下降低FPGA资源占用率。该系统在分辨率为320x256的图像中检测SIFT特征点仅耗时10ms,提取单个SIFT描述向量耗时80us,特征数量不超过200时,其计算速度达到50帧/秒。虽然上述FPGA+DSP硬件架构能实时检测SIFT特征并提取描述向量。然而,它没有实现描述向量匹配步骤,并且需要两个芯片协同工作,必须以单板形式存在。本文进一步提出基于单片FPGA的视觉特征检测与匹配的全并行/流水硬件架构,通过综合分析各模块的像素吞吐率与计算量需求、改进二维高斯滤波器层叠结构、提炼BRIEF描述向量提取与匹配的并行度,从而降低FPGA资源占用率,使整个视觉特征检测与匹配系统能在单片FPGA中实现。它能以60帧/秒的速度在1280x720图像中检测SIFT特征点、提取并匹配BRIEF描述向量,满足大部分应用系统对特征检测与匹配计算实时性的需求。大量实验证明,该系统大大的提升了视觉特征检测与匹配的计算速度,并保持相当的匹配精度。整个系统在单片FPGA中实现,由相机直接驱动,因此可以非常方便的集成到智能相机、视觉导航机器人等嵌入式系统中,提供可靠的图像对应关系。最后,本文通过两个实例阐述实时视觉特征检测与匹配硬件架构的应用。首先利用本文提出的FPGA+DSP硬件架构加速基于SIFT特征的月球着陆器水平测速算法中最耗时、占内存最多的SIFT特征检测及描述向量提取部分,使整个系统能在规定时间内估计着陆器的水平速度,满足着陆器对计算实时性的需求。然后利用本文提出的基于单片FPGA的实时视觉特征检测与匹配模块,加速未标定相机双目视觉视差估计算法中计算量最大、占内存最多的视觉特征提取与匹配部分,消除双目视觉系统对相机内参和几何关系已知的约束,降低对安装工艺精度的要求。本文提出的两种实时视觉特征检测与匹配硬件架构,满足机器视觉应用系统对功耗、体积、计算实时性等方面的约束,在导航制导系统、立体视觉机器人系统、目标跟踪、三维重建等应用领域都有非常重要的理论意义与应用价值,有利于促进机器视觉系统的实际应用。
其他文献
课程改革应体现以学生为中心、以学习为中心、以学习产出为中心,体现适合于应用型人才培养的学、思、练、做、用结合的自主性、主动性、综合性的学习模式。长春光华学院的一
音乐可以滋养心灵、陶冶情操、升华思想,具有独特的艺术魅力和教育功能。音乐教育对学生的健康成长与全面发展,具有积极的作用和重要意义,本文在对农村中学音乐教育存在的问题进
未来世界走向将根本改变两个世纪以来“大分化”趋势,将走向南北国家“大趋同”趋势,其中中国、印度、巴西、墨西哥、印度尼西亚五个发展中人口大国扮演重要角色,尤其是中国。本
目的探讨选择性痔上黏膜吻合器(TST)手术对比传统经肛局部切除术,在直肠良性肿瘤治疗上的优势性。方法将2007年3月至2010年月5月80例诊断为低位直肠良性肿瘤的患者分为治疗组与
随着我国对竹材需求的加大,竹工机械的自动化已经引起了人们的高度重视,但传统的竹工机械严重制约着竹工工业的发展,研制自动化程度高的竹工机械势在必行。视觉测量技术随着
本文对现阶段经济高速发展的情况下,公共图书馆管理人员在职业道德.专业知识和业务水平方面存在的突出问题进行简单探讨,如何加快公共图书馆管理人员建设的。
<正>九年义务教育全日制小学《语文教学大纲(试用)》开明宗义地指出:"小学语文是义务教育中的一门重要的基础学科,不仅具有工具性,而且有很强的思想性。教学这门学科,对于学
会议
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”$ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’#陈川个美食 Back to yield
目的研究白细胞介素11(IL-11)在正常大鼠空肠上皮细胞(IEC-6)损伤时的抗凋亡机制。方法通过脂多糖(LPS)作用于IEC-6,建立了坏死性小肠结肠炎体外模型,加入外源性IL-11,建立IL-11治
随着我国经济的迅速发展,测绘地理信息工作在我国的经济建设中的作用也越来越大。测绘档案是我们国家在管理重要的基础地理信息时所采用的重要手段之一,对很多地理信息的采集、