家庭环境的行为识别是智能家居领域的重要研究方向,也是智能辅助及安全监控服务的核心与关键。声学传感器能够采集到丰富的特征,易于部署且价格低廉。基于声学传感器的家庭行为识别的应用场景更加贴近实际生活。由于家庭环境的声学行为数据集的样本数较少,且各类别间样本严重不平衡,导致现有的基于声学传感器的行为识别模型的效果不佳。本文研究的重点和方向是结合深度学习与强化学习,解决家庭环境的声学数据的样本量不足且分类不平衡问题,并进一步提升家庭环境声学行为识别的效果。本文的主要工作如下:(1)除了在原始音频上做数据增强方法外,提出了3种基于频谱图的数据增强方法,解决了家庭环境的声学数据存在样本不足的问题,提升模型的鲁棒性。此外,使用谐波与冲击拆解算法过滤频谱图中的噪声,并利用GLU(Gated Linear Unit)进一步抑制噪声,提升模型性能。(2)提出了一种基于深度学习的家庭声学行为识别网络。提高结合CNN与RNN,同时对频域特征以及时序相关特征进行提取,并通过在CNN网络中引入SE Net及DenseNet,加强了对CNN不同层特征的利用,提高对频率特征的提取。此外,引入时间分布全连接层以及基于Embedding的迁移学习,进一步提高模型对特征的提取能力。实验结果表明,本文提出的SEN-ECRNN网络在性能上优于传统声学行为识别模型,例如MFCC+GMM模型、传统CRNN模型以及全卷积神经网络(FCN),识别效果更佳。(3)提出将强化学习思想引入网络的训练中,加强网络在不平衡数据集上的性能。在网络的训练过程中引入强化学习的训练策略,动态改变每一批次提供的样本分布,并在模型中引入基于强化Q学习的训练策略,进一步解决类间样本不平衡问题。实验结果表明,将强化学习引入深度学习模型后,模型的F-Score及AUC性能均优于基于传统过采样方法的模型。