论文部分内容阅读
传感器技术和通信技术的迅速发展为实时连续捕获、收集和传输人体运动状态信息提供了便利,在此基础上,利用近年来研究深入的人工智能和神经网络技术可以对采集到的信息进行人体姿态识别,有助于计算机全面深入理解人体行为模式、运动过程以及动作含义,甚至可以对将来可能发生的动作进行预判,在智能安全监控、物联网、人机交互等领域具有广泛的应用价值。
针对传统单视角监控容易产生遮挡以及动作识别速率低等缺点,提出使用两个视角的Kinect传感器采集人体骨骼坐标信息,进行融合后提取关节点角度特征使用神经网络进行人体行为识别,因此,本文重点研究多视角人体骨架融合以及融合后人体骨架动作识别。具体研究工作如下:
1.使用两台体感摄像机Kinect2.0采集运动人体信息,针对不同使用环境建立了五种动作的多视角多信息数据库,包括运动人体的彩色图像、深度图像以及关节点坐标信息序列。
2.研究分析摄像机标定技术。详细分析了摄像机标定涉及的四个坐标系之间的关系,在此基础上使用张正友标定法和Bursa七参数方法进行对比,选取后者作为辅助视角关节点坐标转换方法,将两视角关节点坐标系进行统一。
3.针对传统单视角行为识别中受环境干扰强易产生遮挡等缺点,提出了一种多视角关节点数据变权重融合算法,使用该算法重建骨架,其优点在于,当主视角在采集过程中产生遮挡、丢失和噪声等问题时,由辅助视角下关节点坐标作为补充,再对多视角均采集到的可信任关节点坐标进行变权重Kalman滤波融合,最后得到完整无冗余的人体骨架。对多视角融合后的骨架进行识别,使神经网络更完整准确的学习人体运动骨架特征,为精确识别人体行为奠定基础。
4.针对人体动作特征复杂,提出基于12个关节点骨架夹角作为特征使用长短期记忆(long short-term memory,LSTM)神经网络人体动态行为识别算法,对运动数据降维,使用多视角滤波融合后的完整人体骨架选取特殊骨架间夹角作为神经网络输入,采用LSTM网络实现了人体姿态识别,识别率为97.46%,将训练好的网络加入多视角信息融合智能监测系统,实现了实时人体动作识别实验。
针对传统单视角监控容易产生遮挡以及动作识别速率低等缺点,提出使用两个视角的Kinect传感器采集人体骨骼坐标信息,进行融合后提取关节点角度特征使用神经网络进行人体行为识别,因此,本文重点研究多视角人体骨架融合以及融合后人体骨架动作识别。具体研究工作如下:
1.使用两台体感摄像机Kinect2.0采集运动人体信息,针对不同使用环境建立了五种动作的多视角多信息数据库,包括运动人体的彩色图像、深度图像以及关节点坐标信息序列。
2.研究分析摄像机标定技术。详细分析了摄像机标定涉及的四个坐标系之间的关系,在此基础上使用张正友标定法和Bursa七参数方法进行对比,选取后者作为辅助视角关节点坐标转换方法,将两视角关节点坐标系进行统一。
3.针对传统单视角行为识别中受环境干扰强易产生遮挡等缺点,提出了一种多视角关节点数据变权重融合算法,使用该算法重建骨架,其优点在于,当主视角在采集过程中产生遮挡、丢失和噪声等问题时,由辅助视角下关节点坐标作为补充,再对多视角均采集到的可信任关节点坐标进行变权重Kalman滤波融合,最后得到完整无冗余的人体骨架。对多视角融合后的骨架进行识别,使神经网络更完整准确的学习人体运动骨架特征,为精确识别人体行为奠定基础。
4.针对人体动作特征复杂,提出基于12个关节点骨架夹角作为特征使用长短期记忆(long short-term memory,LSTM)神经网络人体动态行为识别算法,对运动数据降维,使用多视角滤波融合后的完整人体骨架选取特殊骨架间夹角作为神经网络输入,采用LSTM网络实现了人体姿态识别,识别率为97.46%,将训练好的网络加入多视角信息融合智能监测系统,实现了实时人体动作识别实验。