研究目的:本研究以全面、准确、客观的舌象图片采集为基础,以齿痕舌、腻苔两大舌象特征为切入点,专家共识为舌象特征判定金标准,构建舌象分类标准数据集;基于深度学习卷积神经网络(CNN)算法,构建齿痕舌、腻苔特征的人工智能检测模型,提出一种适宜中医舌象处理的人工智能技术,初步探索建立客观化的中医辅助诊断新方法。研究方法:本研究中我们对课题组前期采集的1760例舌象图片(1680例标准设备拍摄,80例智能手机拍摄)进行筛选并交由中医专家对其特征进行判断,将舌象图片按其特征进行分类。通过Colabeler(Ver.2.0.2)软件对舌部轮廓进行标注,形成包含不同舌象特征及其舌部轮廓的舌象数据集,构建中医舌象的标准舌象数据库。随后,以齿痕舌为切入点,将基于深度学习卷积神经网络(CNN)的人工智能网络框架——ResNet34应用于此数据集,来自动化地提取图像特征,实现齿痕舌分类;同时,使用迁移学习和数据扩增技术来提高样本训练效率、优化数据样本,防止模型过拟合。通过三种方式验证齿痕舌识别模型有效性:将在分类任务中热门的VGG16网络框架应用于本研究数据集,比较分类效果;将本研究模型同其他学者所做的齿痕舌分类模型作比较,比较分类效果;使用通过手机相机采集的舌象图片作为验证集,验证模型的泛化能力。最后,使用同样的方法应用于腻苔数据集,对非腻苔、腻苔和厚腻苔进行三分类任务训练和验证,建立人工智能腻苔识别模型。本研究采用准确率(accuracy,Acc)、灵敏度(sensitivity,Sens)和特异性(specificity,Spec)指标对模型效果进行评价。研究结果:(1)通过对采集到的舌象图片进行数据整理、图片标注,最终形成了 4个齿痕舌相关数据集,包括标准设备齿痕舌原始舌象数据集(672例齿痕舌,876例非齿痕舌)及其对应的舌部轮廓数据集、智能手机齿痕舌原始舌象数据集(27例齿痕舌,23例非齿痕舌)及其对应的舌部轮廓数据集;4个腻苔相关数据集,包括标准设备腻苔原始舌象数据集(642例厚腻苔,759例腻苔,85例非腻苔)及其对应的舌部轮廓数据集、智能手机腻苔原始舌象数据集(19例厚腻苔,25例腻苔,6例非腻苔)及其对应的舌部轮廓数据集。这些数据集为我们研究齿痕舌及腻苔人工智能识别模型奠定了基础。(2)齿痕舌识别结果:齿痕舌识别模型在原始舌象图片上的识别准确率为90.50%,灵敏度为87.25%,特异性为93.00%,说明了本研究提出的的齿痕舌识别模型性能相对较好、鲁棒性强,具有较高的灵敏度和特异性,可以较好地识别不同仪器、不同拍摄环境的齿痕舌;该模型在舌部轮廓数据集上的准确率达91.47%,比直接使用舌象图片进行特征识别的平均准确率提高了0.97%,提示除舌体外的其他面部区域掺杂确实会对齿痕舌人工智能模型识别准确率造成一定影响。模型在智能手机拍摄的测试集上的平均准确性分别为83.20%和88.80%,模型总体准确率为85.00%,证明模型泛化能力较强,日后可推广应用于不同设备。ResNet34齿痕舌识别模型对原始舌象图片数据集和舌部轮廓数据集的平均准确性分别为89.41%和90.96%,准确性比VGG16分别提升1.10%和0.52%,由此可见,ResNet34算法架构在两种数据集上的表现优秀、性能较高,说明ResNet34架构能够更好地胜任齿痕舌特征识别任务。本研究中提出的齿痕舌识别模型同现有研究中相似学习任务相比,准确率高出10%以上,这一结果提示本研究中提出的CNN算法能更加准确有效地区分齿痕舌。(3)腻苔识别结果:腻苔识别模型总体识别准确率为88.36%,在舌部轮廓上总体准确率为87.08%,这一结果提示我们,在腻苔的识别上,舌体外的其他面部区域对人工智能模型识别准确率可能影响不大;该模型在测试集上平均准确率分别为62.80%和76.80%,提示该场景下模型受到面部其他区域以及拍摄背景等客观条件影响较大;使用VGG16算法架构构建腻苔识别模型的平均准确率分别为79.48%和80.89%,ResNet34算法架构与之相比准确率更高,分别高出8.80%和6.19%,表明ResNet34算法架构能够更好地胜任腻苔特征识别任务。结论及意义:本研究采用了一种基于深度学习的卷积神经网络模型,该模型可以在实现自动提取舌象特征的同时,减少人工参与预处理数据的步骤,能够更为快捷、方便地进行舌象特征提取,这是此类舌象识别系统转换为临床实践的关键所在;与此同时,我们所提出的模型架构表现优秀且泛化能力强,可以为日后从中医信息学的角度追踪疾病进展和通过观察舌象变化的中药药效评估提供更为客观、便捷的计算机辅助新方法。