语音情感识别是情感计算研究中的重要课题,在智能化的人机交互界面设计、提高语音识别的准确性和情感翻译等方面有着广泛的应用前景。而可视化作为模式识别中的一种新方法,也正在越来越受到研究者的重视。本文的主要工作就是将多元数据图这种可视化的方法引入到语音情感数据的表示和识别中,以图增强数据的直观可视效果,提高人在识别过程中的参与作用,并通过对多元数据图表示的优化和改进,增强最终的识别性能。本文首先从分析了语音中常用的声学特征,分析其区分情感的能力。最终选取了短时能量、基频、语速、共振峰等参数和其衍生出的情感特征。接下来使用多元数据图的方法对这些情感特征进行可视化分析。首先使用雷达图,并就雷达图表示最重要的排序问题进行了讨论和研究。使用了两种排序算法进行比较,并提出了计算量小、性能良好的排序算法,基于模板特征优化的方法。然后使用了更加形象的脸谱图来表示情感特征数据。为了使脸谱图在表示数据时能够在一定程度上表达数据的情感内涵,既保留了脸谱图的优良性质又做了一定的理论突破,使用了最小二乘法优化求出情感数据到脸谱图之间的映射关系。最后结合雷达图和脸谱图的优点,提出了着装脸谱图的融合方法,最终在性能上达到最优。在使用多元数据图的过程中,对各个图形表示方法进行了优化和算法上的改进,并最终将各个方法融合进着装脸谱图,形成一个完整的多元数据表示系统。在最后对实验语料进行的识别实验中,识别结果超过了未使用多元数据图的方法并达到较为满意的效果,证实了此方法在语音情感识别的有效性。