论文部分内容阅读
摘要：随着信息技术和虚拟现实技术的发展，一些具有一定风险和成本较高的训练项目可以利用虚拟现实技术通过计算机模拟现场环境的方法代替实现。本文主要设计并实现了一种基于CMOS摄像头定位，HMC5883+MPU6050检测航姿的模拟灭火训练系统。利用投影机显示火场模拟画面，通过双目识别技术定位训练者，再利用航姿检测技术获取训练者手中模拟灭火器的朝向，从而较真实的模拟出灭火训练的情景。本系统建立了一套交互体系也可以推广到其他模拟训练中，可扩展性强，具有较高的创新性。本文网络版地址：http：//www.eepw.com.cn/article/281896.htm
关键词：灭火训练；虚拟现实；射击模拟；室内定位；捷联惯导
DOI：10.3969/j.issn.1005-5517.2015.10.020
龙恺（1990-），硕士研究生。研究方向：虚拟现实。龚涛，副教授/博士，研究方向：嵌入式系统。
引言
随着中国经济高速发展，建筑规模日益扩大，火灾的危险性逐渐增大。每年由火灾造成的人员伤亡与财产损失十分严重。生活中很多火灾的发生是由于普通民众对简单火情的处理不及时或不得当而产生的[1]。而火灾的产生情况复杂，模拟火灾现场具有一定危险性且成本昂贵，普通民众很难接触到各类简单火情的模拟训练。
随着信息技术与虚拟现实技术等高新技术迅猛发展，利用计算机模拟各类火情并指导人们适当处理简单火情成为可能。以虚拟现实技术为主要依托的虚拟训练方法可以绕开实际模拟火灾的种种弊端，如安全性、可重复性、训练内容单一[2]。本系统利用大屏投影与模拟灭火器，为使用者提供多种火情的应对训练方案。在提高训练效果的同时，降低训练成本、提升安全系数。
系统总体设计
本套模拟训练系统的基本原理是利用位于投影屏幕上方的两个摄像头定位位于灭火器模型前端的红外LED，得到LED相对于摄像头的空间坐标L，再利用位于灭火器内部的两块运动传感器，计算出灭火器喷口的朝向，即灭火器的3维空间航姿A。通过空间坐标L和灭火器喷口朝向A，得到灭火器所指向到屏幕上的具体位置坐标T[3]。此套系统也可用于模拟打靶。系统工作流程如下图1所示。
灭火器模型喷口上放有一颗LED红外发光管。在系统启动后，此发光管常亮。灭火器内固定有一嵌入式系统。嵌入式系统上包含运动传感器MPU6050和磁力计HMC5883。该嵌入式系统所用的核心处理器为STM32F103系列的32位ARM微控制器。处理器采集运动传感器测得的数据并计算出灭火器喷口的朝向A后，通过同样位于嵌入式系统上的nRF24L01无线通信芯片，将朝向数据A实时发送给系统主机。该嵌入式系统还可以检测灭火器阀门按压情况，按压开闭合信号同样由nRF24L01无线芯片发送给主机。
同时，位于屏幕上方的CMOS摄像头捕捉到灭火器喷口上的红外LED发光点。通过位于摄像头模块的嵌入式系统处理，得到发光点位于CMOS摄像头采集的平面画面中坐标，两个摄像头得到的坐标分别为（cx1，cy1）和（cx2，cy2）。摄像头内嵌入式系统的核心处理器为STM32F407系列的高速ARM微控制器。同样，两个摄像头模块通过nRF24L01芯片将坐标（cx1，cy1）和（cx2，cy2）实时传输到系统主机统一计算处理。
系统主机根据最新得到的两个坐标（cx1，cy1）和（cx2，cy2），加上灭火器喷口朝向数据A融合计算得到灭火器所指向到屏幕上的具体位置坐标T。位于主机上运行的火灾模拟训练软件在得到坐标T后判断灭火器是否对准需要灭火的位置，并输出模拟火情的画面到投影屏幕上。通过以上流程，训练者利用灭火器模型与大屏幕投影显示，实现互动与灭火训练。
红外点定位
为了能定位灭火器模型相对于投影屏幕的空间坐标，本文采用双摄像头定位空间中唯一点的方案，属于计算机视觉中的双视计算范畴。相比一般的室内定位方案诸如超声波定位和蓝牙定位等无线定位手段，双视计算得到的定位数据更准确、精度更高，定位误差可以控制在厘米级。
本系统中，位于摄像头模块中的微处理器负责完成对红外LED特征点的定位计算工作[4]。本文采用的微处理器型号是STM32F4071GT6，它采用的是32位ARM Cortex-M4F内核，内置DCMI，FSMC接口，极大方便了视屏采集。由于微处理器的计算能力有限，为了简化图像处理运算并更高效地识别灭火器模型前端的红外特征点，本文在摄像头前加上一块红外滤镜。红外滤镜可以阻挡过滤可见光通过，同时只允许规定波长的红外线通过。根据选用的红外LED类型，选择相应波段的红外滤镜。当然，所选用的CMOS数字摄像头必须对LED所释放的特定波长红外光线比较敏感。本文选用的摄像头是美光公司型号为MT9V032的数字摄像头套件。此款摄像头可保持分辨为640*480的情况下达到每秒60帧画面数据输出，同时此款摄像头对波长为850nm的红外光线也十分敏感。因此选用的红外LED发出的波长和红外滤镜的可透过波长均为850nm。
经过红外滤镜处理后，数字摄像头看到的画面如图2所示，画面中出红外LED发光点相对于周围环境会显得异常明亮，十分方便识别此发光点的位置。
在微处理器取得一帧画面的数据后，首先进行简单的降噪和二值化处理，将红外发光点标识为1，周围环境标示为0。之后取得标识点小圆块上下左右边界点的坐标僮，并取平均值，得到标识圆点的中心点坐标即（cx1，cy1）。
摄像头快门速度为每秒60次，摄像头模块内嵌入式系统每秒60次将坐标通过nRF传送给系统上位机。摄像头经过标定检测后测得其水平可视角度约为80°。在训练过程中灭火器模型前端红外LED距离摄像头垂直距离小于2米，而摄像头的水平像素点数为640个。由此可以计算出定位的理论误差最大约为3mm。定位比较精确，符合使用环境的。 灭火器朝向计算
在通过双摄像机定位出红外LED的空间三维坐标后，再得到灭火器喷口的朝向就能计算出模拟灭火器喷在了屏幕何处。
航姿跟踪技术在自平衡无人机领域已有应用，为了检测灭火器的喷口朝向，本文选用HMC5883三轴数字罗盘和MPU6050 3轴陀螺仪，加速度计来精确确定头戴显示器的航姿。陀螺仪能够测量物体转动的角速度，具有短时间内测量精度高、稳定、可靠的优点。但陀螺仪对温度的要求性高，在长时间内，其由于温度的变化而产生漂移，导致积分累加得到的角度值会大大的偏离实际值。加速度计鉴于测量原理，在短时间内波动很大，但是在长时间的测量中其性能不错。磁强计通过测量地磁的大小，经换算可得到与地磁南极的夹角。故在头盔姿态检测中，采取的策略是由陀螺仪积分累加得到角度，同时又以加速度计为基准对累加的角度进行修正，这个过程称之为融合滤波。这个由陀螺仪和加速度计组成的系统称作捷联惯导系统。
本文采用的捷联惯导系统的姿态算法，即融合滤波算法是四元数微分方程的毕卡求解法[5]。四元数微分方程为：
四元数法只需求解四个未知量的线性微分方程组，计算小且算法简单、易于操作，是工程中常用的方法。但其对有限转动引起的不可交换误差的补偿不够，姿态解算中漂移会十分严重，因此加上HMC5883三轴数字罗盘帮助捷联惯导系统进行误差校正。经过磁力计校正后，漂移即会基本消失。航姿检测模块展示如图3。
需要注意的是，喷口朝向计算需要进行初始化，初始化的目的是保证在程序启动时，喷口朝向的方向是垂直于屏幕的，否则对于水平面上角度的检测将会出错。
通信与数据整合
本套系统共有3个数据采集模块，分别是：灭火器模块、1号摄像头模块、2号摄像头模块。这三个模块同时向系统主机发送数据，都是通过nRF24L01无线模块完成的。
nRF24L01是由NORDIC生产的工作在2.4GHz～2.5GHz的ISM频段的单片无线收发器芯片。输出功率频道选择和协议的设置可以通过SPI接口进行设置，几乎可以连接到各种单片机芯片，并完成无线数据传送工作。且功耗很低，接收时工作电流12.3mA，0dBm功率发射时11.3mA，掉电模式时仅为900nA。是十分简单易用的无线数传模块。
本文将3个数据采集模块端的内置nRF24L01模块设置成发送模式，系统主机端需要插入一块nRF24L01转USB协议的接收模块。该模块内的nRF24L01设置成接收模式，专门负责接收3个数据采集模块传送过来的数据并将数据打包通过USB端口传给上位机系统。需要注意的是为了防止3个数据模块传送过来的数据交叉混乱，接收端nRF24L01需要启用3个数据通道分别接收来自3个数据采集模块的数据[6]。
收集到3组数字后，形成新的一个数据包。通过USB-HID协议发送给上位机电腑。数据包格式如表1。
数据包总共包括17个字节。第O位和第16位分别是开始和结束位。数据位1～4是1号摄像头捕捉到的信息，分别代表横坐标的高地位和纵坐标的高地位。5～8位是2号摄像头捕捉到的信息。数据位9～14位是航姿检测捕捉到的角度信息，分别代表X，Y，Z三轴的旋转角度信息。第15位代表灭火器按压信号。接收模块展示如图4。
在取得3组数据后，上位机需要通过3组数据计算出灭火器喷口射出的射线打在屏幕上的点的位置。
关键词：灭火训练；虚拟现实；射击模拟；室内定位；捷联惯导
DOI：10.3969/j.issn.1005-5517.2015.10.020
龙恺（1990-），硕士研究生。研究方向：虚拟现实。龚涛，副教授/博士，研究方向：嵌入式系统。
引言
随着中国经济高速发展，建筑规模日益扩大，火灾的危险性逐渐增大。每年由火灾造成的人员伤亡与财产损失十分严重。生活中很多火灾的发生是由于普通民众对简单火情的处理不及时或不得当而产生的[1]。而火灾的产生情况复杂，模拟火灾现场具有一定危险性且成本昂贵，普通民众很难接触到各类简单火情的模拟训练。
随着信息技术与虚拟现实技术等高新技术迅猛发展，利用计算机模拟各类火情并指导人们适当处理简单火情成为可能。以虚拟现实技术为主要依托的虚拟训练方法可以绕开实际模拟火灾的种种弊端，如安全性、可重复性、训练内容单一[2]。本系统利用大屏投影与模拟灭火器，为使用者提供多种火情的应对训练方案。在提高训练效果的同时，降低训练成本、提升安全系数。
系统总体设计
本套模拟训练系统的基本原理是利用位于投影屏幕上方的两个摄像头定位位于灭火器模型前端的红外LED，得到LED相对于摄像头的空间坐标L，再利用位于灭火器内部的两块运动传感器，计算出灭火器喷口的朝向，即灭火器的3维空间航姿A。通过空间坐标L和灭火器喷口朝向A，得到灭火器所指向到屏幕上的具体位置坐标T[3]。此套系统也可用于模拟打靶。系统工作流程如下图1所示。
灭火器模型喷口上放有一颗LED红外发光管。在系统启动后，此发光管常亮。灭火器内固定有一嵌入式系统。嵌入式系统上包含运动传感器MPU6050和磁力计HMC5883。该嵌入式系统所用的核心处理器为STM32F103系列的32位ARM微控制器。处理器采集运动传感器测得的数据并计算出灭火器喷口的朝向A后，通过同样位于嵌入式系统上的nRF24L01无线通信芯片，将朝向数据A实时发送给系统主机。该嵌入式系统还可以检测灭火器阀门按压情况，按压开闭合信号同样由nRF24L01无线芯片发送给主机。
同时，位于屏幕上方的CMOS摄像头捕捉到灭火器喷口上的红外LED发光点。通过位于摄像头模块的嵌入式系统处理，得到发光点位于CMOS摄像头采集的平面画面中坐标，两个摄像头得到的坐标分别为（cx1，cy1）和（cx2，cy2）。摄像头内嵌入式系统的核心处理器为STM32F407系列的高速ARM微控制器。同样，两个摄像头模块通过nRF24L01芯片将坐标（cx1，cy1）和（cx2，cy2）实时传输到系统主机统一计算处理。
系统主机根据最新得到的两个坐标（cx1，cy1）和（cx2，cy2），加上灭火器喷口朝向数据A融合计算得到灭火器所指向到屏幕上的具体位置坐标T。位于主机上运行的火灾模拟训练软件在得到坐标T后判断灭火器是否对准需要灭火的位置，并输出模拟火情的画面到投影屏幕上。通过以上流程，训练者利用灭火器模型与大屏幕投影显示，实现互动与灭火训练。
红外点定位
为了能定位灭火器模型相对于投影屏幕的空间坐标，本文采用双摄像头定位空间中唯一点的方案，属于计算机视觉中的双视计算范畴。相比一般的室内定位方案诸如超声波定位和蓝牙定位等无线定位手段，双视计算得到的定位数据更准确、精度更高，定位误差可以控制在厘米级。
本系统中，位于摄像头模块中的微处理器负责完成对红外LED特征点的定位计算工作[4]。本文采用的微处理器型号是STM32F4071GT6，它采用的是32位ARM Cortex-M4F内核，内置DCMI，FSMC接口，极大方便了视屏采集。由于微处理器的计算能力有限，为了简化图像处理运算并更高效地识别灭火器模型前端的红外特征点，本文在摄像头前加上一块红外滤镜。红外滤镜可以阻挡过滤可见光通过，同时只允许规定波长的红外线通过。根据选用的红外LED类型，选择相应波段的红外滤镜。当然，所选用的CMOS数字摄像头必须对LED所释放的特定波长红外光线比较敏感。本文选用的摄像头是美光公司型号为MT9V032的数字摄像头套件。此款摄像头可保持分辨为640*480的情况下达到每秒60帧画面数据输出，同时此款摄像头对波长为850nm的红外光线也十分敏感。因此选用的红外LED发出的波长和红外滤镜的可透过波长均为850nm。
经过红外滤镜处理后，数字摄像头看到的画面如图2所示，画面中出红外LED发光点相对于周围环境会显得异常明亮，十分方便识别此发光点的位置。
在微处理器取得一帧画面的数据后，首先进行简单的降噪和二值化处理，将红外发光点标识为1，周围环境标示为0。之后取得标识点小圆块上下左右边界点的坐标僮，并取平均值，得到标识圆点的中心点坐标即（cx1，cy1）。
摄像头快门速度为每秒60次，摄像头模块内嵌入式系统每秒60次将坐标通过nRF传送给系统上位机。摄像头经过标定检测后测得其水平可视角度约为80°。在训练过程中灭火器模型前端红外LED距离摄像头垂直距离小于2米，而摄像头的水平像素点数为640个。由此可以计算出定位的理论误差最大约为3mm。定位比较精确，符合使用环境的。 灭火器朝向计算
在通过双摄像机定位出红外LED的空间三维坐标后，再得到灭火器喷口的朝向就能计算出模拟灭火器喷在了屏幕何处。
航姿跟踪技术在自平衡无人机领域已有应用，为了检测灭火器的喷口朝向，本文选用HMC5883三轴数字罗盘和MPU6050 3轴陀螺仪，加速度计来精确确定头戴显示器的航姿。陀螺仪能够测量物体转动的角速度，具有短时间内测量精度高、稳定、可靠的优点。但陀螺仪对温度的要求性高，在长时间内，其由于温度的变化而产生漂移，导致积分累加得到的角度值会大大的偏离实际值。加速度计鉴于测量原理，在短时间内波动很大，但是在长时间的测量中其性能不错。磁强计通过测量地磁的大小，经换算可得到与地磁南极的夹角。故在头盔姿态检测中，采取的策略是由陀螺仪积分累加得到角度，同时又以加速度计为基准对累加的角度进行修正，这个过程称之为融合滤波。这个由陀螺仪和加速度计组成的系统称作捷联惯导系统。
本文采用的捷联惯导系统的姿态算法，即融合滤波算法是四元数微分方程的毕卡求解法[5]。四元数微分方程为：
四元数法只需求解四个未知量的线性微分方程组，计算小且算法简单、易于操作，是工程中常用的方法。但其对有限转动引起的不可交换误差的补偿不够，姿态解算中漂移会十分严重，因此加上HMC5883三轴数字罗盘帮助捷联惯导系统进行误差校正。经过磁力计校正后，漂移即会基本消失。航姿检测模块展示如图3。
需要注意的是，喷口朝向计算需要进行初始化，初始化的目的是保证在程序启动时，喷口朝向的方向是垂直于屏幕的，否则对于水平面上角度的检测将会出错。
通信与数据整合
本套系统共有3个数据采集模块，分别是：灭火器模块、1号摄像头模块、2号摄像头模块。这三个模块同时向系统主机发送数据，都是通过nRF24L01无线模块完成的。
nRF24L01是由NORDIC生产的工作在2.4GHz～2.5GHz的ISM频段的单片无线收发器芯片。输出功率频道选择和协议的设置可以通过SPI接口进行设置，几乎可以连接到各种单片机芯片，并完成无线数据传送工作。且功耗很低，接收时工作电流12.3mA，0dBm功率发射时11.3mA，掉电模式时仅为900nA。是十分简单易用的无线数传模块。
本文将3个数据采集模块端的内置nRF24L01模块设置成发送模式，系统主机端需要插入一块nRF24L01转USB协议的接收模块。该模块内的nRF24L01设置成接收模式，专门负责接收3个数据采集模块传送过来的数据并将数据打包通过USB端口传给上位机系统。需要注意的是为了防止3个数据模块传送过来的数据交叉混乱，接收端nRF24L01需要启用3个数据通道分别接收来自3个数据采集模块的数据[6]。
收集到3组数字后，形成新的一个数据包。通过USB-HID协议发送给上位机电腑。数据包格式如表1。
数据包总共包括17个字节。第O位和第16位分别是开始和结束位。数据位1～4是1号摄像头捕捉到的信息，分别代表横坐标的高地位和纵坐标的高地位。5～8位是2号摄像头捕捉到的信息。数据位9～14位是航姿检测捕捉到的角度信息，分别代表X，Y，Z三轴的旋转角度信息。第15位代表灭火器按压信号。接收模块展示如图4。
在取得3组数据后，上位机需要通过3组数据计算出灭火器喷口射出的射线打在屏幕上的点的位置。