灰阶超声及超声造影技术目前被成功用于筛查乳腺肿瘤,而且由于其具有无创伤性,价格低廉等优势,是乳腺肿瘤早期筛查的主要工具。随着人工智能技术快速发展,将深度学习及模式识别技术运用于临床医疗的辅助诊断分析中,已成为当今医疗影像的研究热点。本文研究将乳腺灰阶超声及超声造影结合,形成双模态影像进行良恶性识别。由于双模态影像存在成像质量问题:如对比度低、含有斑点噪声、病灶区边缘不清晰等,且乳腺肿瘤中的困难样本(良性有蟹足症样本和恶性无蟹足症样本)存在难以识别问题,单纯使用深度学习的方法存在提取特征不充分的问题,使得小规模数据的乳腺双模态影像识别问题颇具挑战。首先,针对原始乳腺双模态影像数据中存在的成像质量及信息冗余等问题,本文采取了一系列预处理工作,包括去除无用帧、提取关键帧、图像去冗余、去噪及增强等处理。通过预处理工作,使得数据更加精炼,减少了无用信息对后续识别任务的影响。本文还进行了图像去噪、增强工作,去除了原始影像自带的斑点噪声,增加了病灶区与肌肉组织之间的对比度,突出了关键信息,为后续识别任务奠定了基础。其次,恶性无蟹足症和良性有蟹足症样本作为乳腺肿瘤识别的困难样本,存在良恶性难以区分的问题。本文就乳腺双模态影像的困难样本,提出了基于困难样本的损失函数,该函数使模型在训练阶段就有意识的拉大困难样本间距离,针对困难样本对症下药,更有利于解决像医疗图像这类样本间距离不均衡的问题。实验结果表明,改进的损失函数不仅改善了分类整体准确度,而且困难样本的识别精度也有大幅度提升。最后,针对单一的手工特征或深度特征太单一的问题,提出了两种不同的LBP特征与CNN抽象特征融合方案:其一是将基于不同尺度的LBP图像与RGB图像分别送入CNN训练,然后将两种特征融合送入全连接层进行特征优化;其二是将LBP统计特征与CNN深度特征融合进行分类。两种方案都选用CNN作为分类器,减少了人工的参与,更符合未来的发展趋势。最后通过实验验证了两种设计方案基于乳腺双模态影像的有效性。