近年来,随着生活压力的增大,人们面临精神上的压力越来越大,随之而来的是具有精神疾病风险的人群的数量与日俱增,尤其是抑郁风险群体。目前,机器学习（Machine Learning）已经开始被广泛引入到抑郁症识别中,依据采集数据的类型可分为音视频识别、文本识别和生理信号识别等。虽然上述研究已经有了可喜的进展,但是依然存在不同缺陷,如需要专业的数据采集设备、需要被试高度配合、对被试有干扰等。上述缺陷会导致这些方法的成本居高不下,并且难以适用于各种复杂场景。因此,这些方法难以进行大范围的抑郁症的早期筛查。针对上述问题,研究人员希望找到一种无刺激低成本的无扰式抑郁风险识别方法。考虑到抑郁症的特点和步态的优势,本文采用步态的多模态信息进行抑郁风险群体的无扰式的早期筛查。步态是一种对人体步行过程中连续的姿势和行为的描述,其具有难伪装、采集距离远的特点。步态的特点使得步态数据的采集是无扰式而且不需要被试高度配合。相关的研究表明,人类负责情绪的脑部区域和负责运动的脑部区域是存在关联的,所以,抑郁症会引起患者步态的改变并且我们可以通过步态识别进行对健康群体和抑郁风险群体的识别。此外,在不同的场景中,不同模态的数据的有效性和精确度是不一样,通过多模态融合的方法,我们可以有效利用各模态之间的优势从而提高分类模型的泛用性和准确率。综上,为了更好描述步态和提高模型的泛用性,本文决定采集步态的骨架数据、轮廓信息和光流信息等多个模态的数据进行抑郁风险识别。为了更好进行步态数据的采集,本文采用Kinect摄像机采集上述多模态数据,并且设计了一个步态数据无扰式采集和骨架数据可视化系统。基于该系统采集的数据,本文进行有效的步态特征的提取并分别对单一模态提出了对应的分类模型。最后,本文利用多模态融合将骨架、轮廓和光流三模态进行融合,进而构建有效的无扰式抑郁症识别模型。本文的主要工作及创新点主要有以下四点:（1）步态数据收集与数据可视化系统的建立。该系统可收集被试人员的步态信息,并能将步态骨架数据加以可视化显示。利用该系统,课题组成员一共收集了86名有抑郁风险的群体以及114名健康人群的步态信息,这些信息中包含了三维骨架坐标、RGB视频图片、深度信号以及近红外信息等数据。随后,本文又按照这些数据分别建立了原始数据集,以及经过进行骨架数据可视化后、人工筛选和预处理之后的数据集。（2）骨架特征图的提取和分类。本文提出了一种新的骨架数据特征的提取方法并提出了一种注意力多流CNN分类网络模型。本文通过将三维骨架数据映射分解成10组二维数据,然后将其转换成10种二维的骨架特征图,这些特征图包含了骨架关节点之间、时间和空间、骨架关节点和时间、骨架关节点和空间的关系。结果表明,这种特征具有有效的分类效果,单一骨架特征图最高准确率可达75.73%。（3）光流信息和轮廓信息的抑郁风险评估的分类。本文分别提取了包含时空信息的光流信息特征和轮廓信息特征。针对轮廓信息,我们提出了一种新的卷积神经网络进行分类。针对光流信息,我们提出了一种交叉注意力卷积神经网络的网络模型进行分类。结果表明两种模态数据和对应的分类模型都能有效提高分类的准确率。（4）多模态决策层融合模型。为了利用骨架模态、轮廓模态和光流模态的协同性和相关性,本文提出基于加权融合策略的决策层融合分类模型,该模型在决策层融合了骨架、轮廓和光流模态的分类结果从而得到最终结果。然后,本文在该模型中使用不同融合策略并且对不同结果进行对比,结果表明,加权融合策略在整体的分类效果中最好。此外,本文对比了不同模态的分类结果,结果表明,相比较单一模态,三种模态的决策层的融合更能提高抑郁风险评估的分类效果并且三个模态数据能做到优势互补。基于以上的主要工作,本文提出的一种多模态无扰式抑郁风险评估为大范围的抑郁症早期筛查做出了一定的贡献并对展望了未来的研究方向。