随着人工智能需求的不断增加以及机器学习技术的飞速发展,语音交互技术俨然已经成为下一代智能家居等诸多应用领域的发展趋势。语音识别、说话人身份识别和语音情感识别等识别技术受到了越来越多研究者的广泛关注与高度重视。目前,国内外对语音识别的研究都是单维信息或内容的单独识别。然而,在日常生活中,人们采集到的语音信号本质上是混合信号,主要包括三个大的方面的信息:语音中包含的内容信息,语音中含有与说话人特征有关的信息(如性别、年龄以及情感状态等)和与语音混杂在一起的背景环境声音信息,且我们人类对话时能够同时识别出上述各种声音信息。而各种信息的分开识别会产生语义理解的歧义性,降低语音识别的鲁棒性,阻碍语音对话系统的发展。若机器能够像人一般同时识别出说话人所讲的内容、其身份、年龄、性别、情感状态甚至背景声等多维信息,就能极大地提高人机对话的效率,解决单维识别系统存在的瓶颈问题。因此,本团队提出了一种全新的多维语音信息同时识别的研究课题。当然,上述三个大的方面信息涉及到的识别对象有近十种,同时识别难度很大,课题涉及的研究范围十分宽泛,因此作为开创性的尝试,本文将先研究其中与说话人有关的多维信息识别技术。本文的主要研究工作和创新点如下:基于现有的性别相关的情感识别、情感环境下的性别和身份分别识别的技术研究与发展,针对仅有单维信息识别系统框图的情况,本文分析了传统单维说话人信息识别的共性和特性,重点研究了实现多维说话人信息同时识别的两个关键技术:特征提取和模型训练。(1)分析发现不同的语音特征参数能够代表不同的语音相关信息,且同样的特征向量也能用于不同的单维语音识别任务中。目前,常用的声学特征参数分别是韵律特征、声音质量特征和基于谱的特征。而本文涉及到与说话人有关的三方面信息识别,因此考虑运用上述三种声学特征的组合特征作为本文多维说话人信息识别的特征参数。相较于单类别的特征,它包含更丰富的语音信息。本文采用两种方法分别获得融合特征,一种是Matlab仿真平台提取的低维特征,另一种是OpenSMILE工具箱提取的高维特征。(2)针对多维信息识别缺乏成熟的参考文献和理论知识的情况,本文首先创造性地构建出基于性别相关的多维信息识别基线系统,作为多维识别的参照模型。然后,通过将基线系统与传统的情感、性别和身份单独识别的系统进行对比,得知多维识别系统的平均识别率高出11.37%,从而证明了基线系统方案的可行性和有效性,并且证明了多维信息同时识别还能带来提高其中单维信息的识别率这一优点,本身也成为一种新的识别方法。(3)因为多维说话人信息识别任务本质上是一个多标记学习问题。因此考虑运用解决现实世界对象具有多义性的多示例多标记学习算法进行多维语音识别技术研究。本文首次将多示例多标记支持向量机算法用于说话人识别领域,并利用不同标记之间的相互制约关系,改进了判决机制,实现基于性别的双重判决。实验表明,除了性别识别,无论采用哪种特征参数,基于改进的MIMLSVM系统的识别率都比基线系统的识别率高。其中,采用高维特征、改进MIMLSVM系统的准确率比采用低维特征、基线系统的高1.97%左右。可见,恰当的参数选择和模型匹配能显著提高多维系统的识别率。但是,随着标记数量的增加,系统的运行时间和计算复杂度也相应的增加。即实现多维说话人信息的同时识别是以付出一定的系统复杂性为代价。