近年来,不断发展的脑成像技术为理解大脑特定区域与其功能提供了很大的帮助。多模态脑影像分析方法利用不同脑影像数据提供的多种信息,能够帮助医生分析脑疾病的病变机理。目前多模态脑影像分析还面临一定的困难,如多模态脑影像数据样本量少,脑影像的特征维度高、数据异构等问题,找出与疾病相关的特征,提高脑疾病诊断的准确率是目前多模态脑影像数据分析的重点。现有的脑影像分析方法通常只利用一种脑影像数据,或者将多种脑影像数据简单拼接组合到一起,这类方法不能充分的利用模态间的相关信息。在分析脑影像数据中的结构信息和模态间的相关关系后,本文提出了两种多模态脑影像分析方法,主要工作和创新如下:为了充分利用多模态脑影像数据的关联信息,本文提出了一种基于模态关联与特征稀疏约束的多模态脑影像与基因回归分析方法。由于多模态脑影像数据的特征维度高并且存在噪声,本文在目标函数中添加稀疏约束项,使之能够挑选出与风险基因相关的脑区特征;进而利用每个模态数据与基因的关联程度不同且模态间存在相关关系的特点,增加了模态关联约束项,使模型能够得出不同模态与基因的关联系数。实验结果证实,提出的方法能够在大脑功能和结构模态数据中找出与致病基因关联程度较高的脑区。为了在特征选择时能尽可能多的利用脑影像数据提供的信息,有效组合不同类型的特征数据,本文提出了一种基于一致度量约束的多模态特征选择方法。考虑到样本间存在着先验分布,且样本在正电子发射断层扫描和磁共振成像模态中的距离关系不同,它们分别提供脑功能和结构信息。本文利用随机森林为多模态样本提供一致的成对相似性度量方法,在一致度量标准下描述样本在不同模态中的距离。同时,为了联合多个模态数据,在模型中引入组稀疏约束,使得该模型不但保留了每个模态样本间相似性信息,而且可以联合选择出不同模态的共享特征。提出的方法能够对样本进行分类,找出与疾病相关的脑区。本文方法在ADNI数据库上与目前主流的多模态脑影像分析方法进行了实验对比对比。实验结果表明,本文提出的多模态脑影像分析模型能够提高的实验的分类和回归准确率,并通过加入稀疏约束找出更具判别性的脑区特征。