心脑血管疾病因其高死亡率,目前已经成为医学界的重点研究病症之一。中国作为人口大国,患病人数逐年上升,心脑血管疾病已经不仅是中老年群体的高发病,45岁以下的中青年同样成为了易发生心梗、脑卒中等心脑血管疾病的高危人群。常见的临床检测与诊断存在着预防困难、诊断不及时、传统体检检测困难以及治疗易致残等问题,因此,如何在发病前快捷有效地进行辅助预测,从而对患者起到预警作用是一重大问题。回顾漫长的中国医学发展史,中医在“治未病”上有时会显示出比西医更突出的优势,其中以望诊为首的“望闻问切”四种方式更是让中医蓬勃发展。而随着时代发展,中医学与人工智能技术相结合等智能化发展已经得到国家重点关注,虽然研究空间很大,但是标准化、客观化依旧是首要问题。因此,本文试图基于深度学习技术探索一种中医望诊与心脑血管疾病间的联系,并将其用于辅助临床诊断与预测。立足于这样一种目的,本文结合传统手部与面部图像数据进行了一系列深度学习技术与中医望诊相结合以辅助疾病诊断的研究:（1）基于手掌图像的多任务交叉注意学习模型辅助中医预测心肌梗死联系中医手诊心梗的领域知识,利用手部图像中掌丘部位以及大小鱼际部位的不同特征,构建多任务交叉注意学习模型,实现同时检测掌丘隆起淤肿以及大小鱼际肥厚肿胀这两个任务。但是对于采集到的传统图像来说分辨率太高且富含信息过多,因此提出一种数据预处理方法,在中医医师的指导下截取掌心区域并将其作为模型输入,之后联系注意力机制分别构建两种任务的注意力分支,通过训练可以让模型符合中医望诊的诊断方式专注于两个部位的重点诊断区域,并且通过类激活图的方式将其可视化。多任务学习领域中,分支间参数共享是一个研究重点,因此,本文在双注意力分支间提出一种信息交互模块,该模块通过设置权重参数来进一步融合分支特征间的信息,保证模型学习到更多的特征。最终经过实验证明,我们提出的方法在检测掌丘隆起以及大小鱼际肥厚的准确率上分别为83.16%以及84.15%,这些结果证明所提方法能够在一定程度上实现辅助中医预测心肌梗死。（2）多分支深度特征融合的中医脑卒中辅助诊断目前临床上检测脑卒中主要是通过脑部的医学影像进行筛查诊断,而这些研究针对的不是已经发病就是出现了一些严重临床症状的患者,即使治疗也极易复发或致残。因此结合手部图像和面部图像,如何利用中医知识将两个部位的特征进行融合并辅助诊断中医脑卒中成为研究重点。在中医诊疗中,医生更注重观察面部眉心区域的纹理变化,而对于手部区域则更关注于色态等变化,基于此,本研究首先将手掌区域以及眉心区域进行截取,之后借助Sobel滤波器提取眉心区域以及转换颜色空间提取手掌颜色特征,最后构建深度特征融合学习模型,将纹理特征和颜色特征分别作为辅助信息分支加入网络中,通过改进后的信息交互模块辅助主体分支进行模型训练。最终试验结果表明,相比于传统的分类方法,本文模型的准确率可以达到83.36%。