随着医学科技水平不断提高，医学影像案例也随之不断的增长，如何快速准确的找到和需要查询案例最相似的医学影像辅助医生进行诊断受到越来越多的重视。医学影像案例包含有图像的底层特征和语义特征，在对图像进行检索时，底层特征和语义特征之间的“语义鸿沟”问题一直是个难题，采用何种方法来缩减语义鸿沟，以达到在检索过程中既包含有图像的底层特征又可以用人类理解的语义来进行检索成为研究的热点。　　医学影像案例在计算机辅助诊断过程中有重要的表现，本文针对医学影像进行研究，通过模态关联模型由医学影像的底层特征获知影像的视觉语义特征，实现了两种不同模态之间的有效关联，缩减了语义鸿沟并同时实现医学影像视觉语义的自动标注，在此基础上，结合与医学影像语义相关的底层特征进行影像案例的多模检索，提高影像的检索性能，为辅助医生进行诊断提供决策支持。主要的研究内容包含有以下三部分：　　1.获取医学影像特征，包括底层特征和诊断语义关键词。针对医学影像感兴趣区域，获得代表医学影像灰度、形态及纹理的底层特征并进行特征归一化，共计32个，然后利用医学影像相关知识，从病灶对象形态、病理诊断结果等描述信息组成的诊断报告中提取语义关键词，共同组成医学影像特征。　　2.构建模态关联模型。针对语义鸿沟问题，首先，为了达到减轻维数灾难目的，采用基于关联规则的特征选择算法获得与语义关键词具有相关性的底层特征，去除冗余特征，实现特征的降维；然后，采用经典的Apriori算法进行关联规则挖掘，并通过关联规则剪枝算法得到强关联规则；最后利用关联分类引擎(Associative Classifier Engine,ACE)算法建立模态关联模型，实现了由医学影像底层特征获知语义特征目的，缩减语义鸿沟。　　3.多模影像检索系统及性能评估。针对医学影像案例的特点，选择适合医学影像的相似度量方案，并通过SQL Server2000数据库、Visual C++6.0以及Matlab联合构建影像多模检索系统，以该系统为依托，通过查准率、查全率等来评价检索系统的性能，实现有效的计算机辅助诊断。