论文部分内容阅读
[摘 要]视觉传感器和毫米波雷达可有效探测障碍物，是无人机低空飞行安全保障的有效手段之一。本文通过分析无人机飞行任务的主要环境，提出了一种基于双目视觉与毫米波雷达结合的无人机障碍物检测技术方案，对无人机障碍物检测技术的发展提供了参考。
[关键词]双目视觉 雷达 无人机 障碍物检测
中图分类号：Y631 文献标识码：A 文章编号：1009-914X（2019）06-0320-02
1引言
一般情况下，我们根据应用环境的不同，对障碍物的定义也不同，检测系统也不尽相同。按照障碍物检测系统工作环境分为室内环境、室外路面环境、星球环境和室外非结构化环境四种环境。其中，室内环境绝大部分是平坦的地面，障碍物主要是结构化物体；室外路面环境相对来说是比较简单的，因为路面具有比较明显的人工标记，障碍物主要是车辆和行人等较大的目标；星球环境下均是低速移动的机器人，对实时性要求较为宽松，可以采用具有较高计算复杂度的算法来完成任务；室外非结构环境非常复杂，场景中的背景地表崎岖不平，甚至存在沟壑或者水潭，前景目标具有分形维特征，种类也各种各样，如树木、山脉等。无人机障碍物检测正是工作于室外非结构化环境中，该环境存在如此多的可变因素，因此，无人机障碍物检测对环境感知能力提出了更高的挑战[1]。
2 障碍物检测技术方案
在无人机进行障碍物规避过程中，障碍物有两种定义。一种是指位于无人机前进通道上安全距离内将对前行造成威胁的物体，另一种是指无人机为了躲避前方障碍物重新规划路径时需要考虑的周围可能对其造成威胁的物体。我们在障碍物检测过程，选择采用毫米波雷达探测障碍物的位置信息，并且充分利用立体视觉感知范围内得到障碍物的距离及位置信息，并进行信息融合。
2.1 感兴趣点提取
传统的双目视觉和毫米波雷达融合通常基于二维运动平台的假设，其雷达和图像坐标转换结果对平台的姿态变化敏感。而无人机平台存在高度、姿态不断变化的特点，因此，首先建立对高度、俯仰和滚转角度变化的自适应的雷达和图像坐标转换关系[2]。
式中，z为雷达探测距离，?为雷达探测角，α为相机俯角，θ为滚转角，f为焦距， 为进而对高度、俯仰、滚转自适应转换后的图像坐标，也即在左图像中的障碍物感兴趣点。
经过雷达和视觉传感器联合标定，将雷达坐标系下的距离/角度坐标与图像中相应的像素点建立单向映射关系，从而使雷达信息与双目视觉测量距离信息及左目色彩图像信息获得匹配。
2.2候选区域建立
障碍物感兴趣点仅给出了障碍物上某个点的图像坐标，由于障碍物规避任务需要已知障碍物的边界，因此，需基于双目测距距离像和左目彩色图像建立障碍物候选区域[3]。常规的稠密双目测距仅可得到像素级的视差，当视差为1时测距最远，受基线长度和图像分辨率的限制，能够测量和感知到的障碍物距离有限。虽然通过在左右图像上进行亚像素级的角点检测和匹配对应，可以得到亚像素级的视差使测距更远，但所得仅为稀疏测距，因而在远距离场景下图像中存在一些不能被感知距离的像素点。因此，由感兴趣点建立候选区域分两种情况进行。
（1） 感兴趣点位于双目视觉感知距离范围内
以各感兴趣点为种子点，可分别在稠密测距部分采用较小的生长窗口和在稀疏测距部分采用较大的生长窗口，同时，在深度图像上进行区域生长，得到初步的障碍物候选区域。由于距离较近的不同物体测距值相当，并考虑测距误差及姿态因素，会出现位于同一障碍物候选区域内或者同一物体可能得到不同的测距值的情况发生。即使采用动态聚类阈值，仅基于距离信息也不能完全保证同一物体位于同一候选区域不同物体位于不同的候選区域。因此，本文以感兴趣点为种子点在彩色图像上采用均值漂移方法[4]进行图像分割，得到彩色图像障碍物候选区域后与距离像障碍物候选区域融合，从而得到关于障碍物候选区域更合理的划分，再由包围盒得到障碍物候选区域的边界。
（2） 感兴趣点位于双目视觉感知距离范围外
当感兴趣点位于双目视觉感知距离范围外时，只能利用颜色信息建立障碍物候选区域。具体方法为：
首先，对RGB颜色空间进行稀疏量化，将每个颜色通道的256级稀疏量化为12级，大大减少颜色总数；
然后，对量化后的每种颜色，计算其所包含的像素点相对于雷达探测像素点的空间距离关系，进而通过阈值分割过滤掉大部分非障碍物点；
再次，基于颜色频率和LAB空间距离的乘积计算显著性图，并计算显著性图中每点相对于雷达探测点的显著性密度，得到密度图；
最后，基于显著性密度图的垂直及水平投影确定障碍物候选区域的上下左右边界。
2.3候选区域判别
为了排除虚假的雷达检测点，还需要对障碍物候选区域加以判别。
（1） 障碍物候选区域位于双目视觉感知距离范围内
该种情况下障碍物候选区域是由雷达检测点、双目测距、彩色图像共同得到的检测结果，具有高可靠性，认为确实有物体存在。根据平台高度及双目测距所得稠密点云，如果障碍物候选区域的点云位于地表则判别为非障碍物，否则判别为障碍物。
（2）障碍物候选区域位于双目视觉感知距离范围外
该种情况下障碍物候选区域判别通过特征匹配来实现。首先离线阶段预先建立感兴趣障碍物的样本库，提取各样本的SIFT特征关键点[5]；在线检测阶段提取障碍物候选区域的SIFT特征关键点，将其与样本库中各样本的SIFT特征关键点一一匹配；若和第N类样本匹配成功则判断候选区域为第N类障碍物，若和所有样本均匹配失败，则判断为非障碍物。
2.4 障碍物三维位置坐标计算
如果候选区域被判别为障碍物，则将障碍物的坐标由图像坐标转换到机体坐标，具体包括障碍物图像坐标到左摄像机坐标，左摄像机坐标到机体坐标两部分转换。
式中，（u，v）为障碍物点在校正后的左目图像中的像素坐标，（x，y，z）为障碍物点在左摄像机坐标系下的三维坐标，（cx，cy）为图像中心点，f为焦距，d为障碍物距离。
障碍物在左摄像机坐标系中的坐标到机体坐标系下的坐标转换公式如下：
基于上述障碍物检测方案，给出存在或不存在障碍物的判别，以及障碍物的三维坐标。如果不存在障碍物，则无人机可以按照预设轨迹正常前行。如果存在障碍物则需要重新规划路径以绕过障碍物，并期望在可预见的未来尽可能少地再次遇到障碍物。
参考文献
[1] 蒋超.基于雷达和视觉复合传感器的无人机障碍物检测研究[M].沈阳：沈阳理工大学，2016.
[2]郑伟.基于视觉的微小型四旋翼飞行机器人位姿估计与导航研究[D].合肥：中国科学技术大学，2014.
[3] 崔燕茹.基于双目视觉的障碍物识别与重建[M].南昌：南昌航空大学，2012.
[4] Campoy P，Correa JF.Computer vision onboard UAVs for civilian tasks[J].Journal of Intelligent and Robot Systems.2009（54）：105-135.
[5] Zingg，S.，et al.MAV navigation through indoor corridors using optical flow[C].In Robotics and Automation（ICRA），2010 IEEE International Conference on，2010，3361-3368.
[关键词]双目视觉 雷达 无人机 障碍物检测
中图分类号：Y631 文献标识码：A 文章编号：1009-914X（2019）06-0320-02
1引言
一般情况下，我们根据应用环境的不同，对障碍物的定义也不同，检测系统也不尽相同。按照障碍物检测系统工作环境分为室内环境、室外路面环境、星球环境和室外非结构化环境四种环境。其中，室内环境绝大部分是平坦的地面，障碍物主要是结构化物体；室外路面环境相对来说是比较简单的，因为路面具有比较明显的人工标记，障碍物主要是车辆和行人等较大的目标；星球环境下均是低速移动的机器人，对实时性要求较为宽松，可以采用具有较高计算复杂度的算法来完成任务；室外非结构环境非常复杂，场景中的背景地表崎岖不平，甚至存在沟壑或者水潭，前景目标具有分形维特征，种类也各种各样，如树木、山脉等。无人机障碍物检测正是工作于室外非结构化环境中，该环境存在如此多的可变因素，因此，无人机障碍物检测对环境感知能力提出了更高的挑战[1]。
2 障碍物检测技术方案
在无人机进行障碍物规避过程中，障碍物有两种定义。一种是指位于无人机前进通道上安全距离内将对前行造成威胁的物体，另一种是指无人机为了躲避前方障碍物重新规划路径时需要考虑的周围可能对其造成威胁的物体。我们在障碍物检测过程，选择采用毫米波雷达探测障碍物的位置信息，并且充分利用立体视觉感知范围内得到障碍物的距离及位置信息，并进行信息融合。
2.1 感兴趣点提取
传统的双目视觉和毫米波雷达融合通常基于二维运动平台的假设，其雷达和图像坐标转换结果对平台的姿态变化敏感。而无人机平台存在高度、姿态不断变化的特点，因此，首先建立对高度、俯仰和滚转角度变化的自适应的雷达和图像坐标转换关系[2]。
式中，z为雷达探测距离，?为雷达探测角，α为相机俯角，θ为滚转角，f为焦距， 为进而对高度、俯仰、滚转自适应转换后的图像坐标，也即在左图像中的障碍物感兴趣点。
经过雷达和视觉传感器联合标定，将雷达坐标系下的距离/角度坐标与图像中相应的像素点建立单向映射关系，从而使雷达信息与双目视觉测量距离信息及左目色彩图像信息获得匹配。
2.2候选区域建立
障碍物感兴趣点仅给出了障碍物上某个点的图像坐标，由于障碍物规避任务需要已知障碍物的边界，因此，需基于双目测距距离像和左目彩色图像建立障碍物候选区域[3]。常规的稠密双目测距仅可得到像素级的视差，当视差为1时测距最远，受基线长度和图像分辨率的限制，能够测量和感知到的障碍物距离有限。虽然通过在左右图像上进行亚像素级的角点检测和匹配对应，可以得到亚像素级的视差使测距更远，但所得仅为稀疏测距，因而在远距离场景下图像中存在一些不能被感知距离的像素点。因此，由感兴趣点建立候选区域分两种情况进行。
（1） 感兴趣点位于双目视觉感知距离范围内
以各感兴趣点为种子点，可分别在稠密测距部分采用较小的生长窗口和在稀疏测距部分采用较大的生长窗口，同时，在深度图像上进行区域生长，得到初步的障碍物候选区域。由于距离较近的不同物体测距值相当，并考虑测距误差及姿态因素，会出现位于同一障碍物候选区域内或者同一物体可能得到不同的测距值的情况发生。即使采用动态聚类阈值，仅基于距离信息也不能完全保证同一物体位于同一候选区域不同物体位于不同的候選区域。因此，本文以感兴趣点为种子点在彩色图像上采用均值漂移方法[4]进行图像分割，得到彩色图像障碍物候选区域后与距离像障碍物候选区域融合，从而得到关于障碍物候选区域更合理的划分，再由包围盒得到障碍物候选区域的边界。
（2） 感兴趣点位于双目视觉感知距离范围外
当感兴趣点位于双目视觉感知距离范围外时，只能利用颜色信息建立障碍物候选区域。具体方法为：
首先，对RGB颜色空间进行稀疏量化，将每个颜色通道的256级稀疏量化为12级，大大减少颜色总数；
然后，对量化后的每种颜色，计算其所包含的像素点相对于雷达探测像素点的空间距离关系，进而通过阈值分割过滤掉大部分非障碍物点；
再次，基于颜色频率和LAB空间距离的乘积计算显著性图，并计算显著性图中每点相对于雷达探测点的显著性密度，得到密度图；
最后，基于显著性密度图的垂直及水平投影确定障碍物候选区域的上下左右边界。
2.3候选区域判别
为了排除虚假的雷达检测点，还需要对障碍物候选区域加以判别。
（1） 障碍物候选区域位于双目视觉感知距离范围内
该种情况下障碍物候选区域是由雷达检测点、双目测距、彩色图像共同得到的检测结果，具有高可靠性，认为确实有物体存在。根据平台高度及双目测距所得稠密点云，如果障碍物候选区域的点云位于地表则判别为非障碍物，否则判别为障碍物。
（2）障碍物候选区域位于双目视觉感知距离范围外
该种情况下障碍物候选区域判别通过特征匹配来实现。首先离线阶段预先建立感兴趣障碍物的样本库，提取各样本的SIFT特征关键点[5]；在线检测阶段提取障碍物候选区域的SIFT特征关键点，将其与样本库中各样本的SIFT特征关键点一一匹配；若和第N类样本匹配成功则判断候选区域为第N类障碍物，若和所有样本均匹配失败，则判断为非障碍物。
2.4 障碍物三维位置坐标计算
如果候选区域被判别为障碍物，则将障碍物的坐标由图像坐标转换到机体坐标，具体包括障碍物图像坐标到左摄像机坐标，左摄像机坐标到机体坐标两部分转换。
式中，（u，v）为障碍物点在校正后的左目图像中的像素坐标，（x，y，z）为障碍物点在左摄像机坐标系下的三维坐标，（cx，cy）为图像中心点，f为焦距，d为障碍物距离。
障碍物在左摄像机坐标系中的坐标到机体坐标系下的坐标转换公式如下：
基于上述障碍物检测方案，给出存在或不存在障碍物的判别，以及障碍物的三维坐标。如果不存在障碍物，则无人机可以按照预设轨迹正常前行。如果存在障碍物则需要重新规划路径以绕过障碍物，并期望在可预见的未来尽可能少地再次遇到障碍物。
参考文献
[1] 蒋超.基于雷达和视觉复合传感器的无人机障碍物检测研究[M].沈阳：沈阳理工大学，2016.
[2]郑伟.基于视觉的微小型四旋翼飞行机器人位姿估计与导航研究[D].合肥：中国科学技术大学，2014.
[3] 崔燕茹.基于双目视觉的障碍物识别与重建[M].南昌：南昌航空大学，2012.
[4] Campoy P，Correa JF.Computer vision onboard UAVs for civilian tasks[J].Journal of Intelligent and Robot Systems.2009（54）：105-135.
[5] Zingg，S.，et al.MAV navigation through indoor corridors using optical flow[C].In Robotics and Automation（ICRA），2010 IEEE International Conference on，2010，3361-3368.