婴儿自发表情是指婴儿自然发生的面部表情,能够传递意图与情绪信息,受到心理学、教育学和临床医学的广泛关注。婴儿表情识别技术在智能家居、医疗保健、早期教育等方面具备广阔的应用前景。随着人工智能的崛起和迅猛发展,以成人为研究主体的表情识别取得了显著成果,而很少有研究关注婴儿表情。婴儿自发表情识别研究存在如下挑战:婴儿面部皮肤光滑、褶皱纹理浅、毛发颜色淡和表情表现力弱的特点使得表情特征不易辨识;婴儿自发表情伴随头部与肢体运动,引起大范围人脸角度和面部遮挡;此外,研究还受到缺乏公开数据的制约。目前,自然场景婴儿表情识别的研究不成熟,相关工作较少,且存在一定不足。围绕婴儿自发表情识别的研究目标,本文开展了如下创新性工作:（1）建立了一个婴儿表情图片数据库和一个动态婴儿表情数据库。针对缺乏研究数据的问题,本文基于静止脸试验范式,在亲子交互情境下诱发婴儿自发表情,对30例婴儿被试的面部表情数据进行处理和标注。基于此,建立了由9,133张图片组成的静态婴儿表情库和由4,560段图片序列组成的动态婴儿表情库,为本文提供研究数据支撑。（2）提出一个融合面部区域自适应学习和隔离损失（IslandLoss）策略的婴儿表情识别卷积网络。面部区域对表情的贡献不同,引入基于注意力机制的面部区域自适应学习模块,促使网络自动关注并强调更具表情辨别性的婴儿面部区域特征,弱化表情贡献度低的区域,缓解婴儿表情特征不易辨识的问题。与隔离损失融合的策略用以最大化类间距离的同时,最小化类内方差,进一步专注于表情区分任务,抑制表情无关信息的干扰。该方法参数规模小,对婴儿自发表情的识别性能优越,且对面部遮挡、大幅度头部姿态、光照变化表现鲁棒。（3）提出了一个基于多线索融合的动态婴儿表情识别网络框架。针对真实场景动态婴儿表情识别的复杂问题,模拟人类多层面信息综合判识的处理方式,确定了三条与表情判识密切相关的线索:面部关键点运动特征建模用来抽取表情引起的人脸柔性形变的结构化特征;面部纹理特征时序建模引入面部区域自适应学习模块,细致加工婴儿表情关键的纹理特征和时序依赖;局部动态特征联合建模重点关注并挖掘5个表情肌群集中分布的局部区域特征。为充分利用上述几何与纹理、局部与全局的表情信息,网格搜索多线索模型融合的最佳权重组合,使各线索互相补充、共同判断,有效提升网络对动态婴儿自发表情识别的性能。（4）开发了一个基于表情识别的婴儿行为分析系统。结合实际应用需求,将方法研究落地于婴儿表情行为的监测和分析。系统能够实时检测并呈现婴儿面部位置、表情状态、各类别表情统计时长和占比等信息;监测结束后,生成表情图谱和总结报告,并分类存储相关数据,供家长及研究人员进一步的评定。系统具备良好的识别效率和准确率,生动直观的可视化形式,便捷的用户体验,在婴儿监护、情绪能力临床评测等方面满足一定的应用需求,具备一定的社会价值。