随着虚拟现实(VR)技术和视频直播技术的发展,全景视频的采集设备受到广泛关注。全景视频是在同一视点拍摄记录全方位场景的视频。然而,制作全景视频要求CPU和GPU都具有很强的处理能力,传统的全景产品往往依赖于庞大的设备和后期处理,导致高功耗、低稳定性、没有实时性且不利于信息安全。此外,无论是安防领域还是体育直播都需要智能摄像机的应用,其中目标检测技术是智能相机的基础。因此,对全景视频进行目标检测能够扩大检测范围,为之后的智能分析提供基础。本文主要工作包括如下四个方面:(1)提出了L-ORB(Local ORB)特征点提取算法,该算法通过分割视频图像优化了特征检测区域,并对尺度不变性、旋转不变性进行了简化。利用多探寻的局部敏感哈希(Multi-Probe LSH)算法对特征点进行匹配,用改进的样本一致性(progressive sample consensus,PROSAC)算法消除误匹配,得到每帧图像的拼接映射关系,并采用多频带融合算法消除视频间的接缝。本文的L-ORB算法可将特征提取的时间缩短为传统ORB算法的1/3,SIFT算法的1/1000。(2)通过对现有卷积神经网络的分析,在计算规模和网络结构上对YOLO(You Only Look Once)目标检测算法进行了优化,并使用了8位整型代替了32位浮点对神经网络进行推导;使用了融合网络结构进一步加快网络推导的速度。通过对YOLO算法的优化,目标检测的速度提高了3倍以上。(3)使用整合了ARM A57和Pascal GPU的NVIDIA Jetson TX-2异构嵌入式系统,利用其Teraflops的浮点计算能力和内建的视频采集、存储、无线传输模块,实现了多摄像头视频信息的实时全景目标检测系统。有效的利用GPU指令的块、线程、流并行策略对图像拼接算法进行加速。实验结果表明,算法在图像拼接的特征提取、特征匹配等各个阶段均有很好的性能提升,其算法速度是传统ORB算法的11倍、传统SIFT算法的639倍。系统较传统的嵌入式系统性能提升了29倍,但其功耗低至10W。(4)通过在开源机器人平台TurtleBot中借助ROS系统和Cartographer算法包实现机器人自主导航系统,通过利用两片NVIDIA TX-2嵌入式芯片,测试了我们提出的全景拼接及目标检测策略。结果表明,本文提出的算法可以满足实时拼接及目标检测的要求。