目前随着物联网技术的普及,人们对于体态信息的各种需求越来越频繁和严苛。传统体态信息获取方法,如主动输入法和信道建模法等,操作复杂,难以自动化处理人体体态信息。Wi-Fi信号普及率高,硬件算力充裕,改造成本低,可自动化地在Wi-Fi信号模态中获取体态信息。另外,近年来计算机视觉的快速发展,使得基于视觉信号的数据处理变得高效且准确。对视觉信号的有效利用有助于提升体态信息分类准确率。为降低体态信息获取难度,提高体态信息分类准确率,本文针对室内环境下人体体态信息的自动处理开展研究,使用Wi-Fi信号和图像信号多模态融合技术提升体态信息分类的准确率。实验表明所提算法可以大幅度提高体态信息的分类准确率。本文的主要工作和贡献总结如下:(1)搭建了基于高通Wi-Fi网卡的数据采集系统。参考Intel-5300网卡的数据收集平台,搭建了基于高通网卡与Ubuntu操作系统的Wi-Fi 数据采集平台,降低了丢包率并提高了数据写入与交换速度,可同步收集实际室内场景下的Wi-Fi数据以及视频数据。(2)提出了基于残差神经网络(ResNet)的视频信号体态信息分类方法,将残差模块神经网络应用于本平台同步采集的视频预剪辑帧数据,通过优化模块之间的参数与网络深度,提高体态信息的识别精度。经过试验,视频信号在ResNet-101网络下达到了94.5%的体态分类准确率,明显高于双流法、C3D,P3D等经典算法性能。(3)提出了基于改进三维卷积神经网络的单模态体态信息分类方法。基于实际环境下获取的多维时空数据和经典三维卷积网络,使用改进后的三维卷积网络来学习无线信号模态,大幅度提升了学习速度,精简了参数复杂度,并将本模态的工作最终回归到决策融合的连接层中。所提算法在单一无线环境下的分类准确率达到88.6%,相比于目前主流的信道模型算法的平均准确率(85.75%)提升了 2.85%。(4)在基于残差网络(ResNet)的视频信号体态信息分类方法和基于改进三维卷积网络的单模态体态信息分类方法的基础上,提出了基于Wi-Fi和图像视觉信号的多模态融合算法,通过两个单模态输出向量的融合判决,进一步提高体态识别率。经过测试,多模态体态识别率可以达到96.8%,相比于视觉或者无线数据的单一模态体态分类,识别准确率分别提升了2.3%和8.2%。