语音情感识别是指通过语音来识别说话人的情绪状态,是语音技术领域最具挑战的任务之一。而随着语音交互技术的广泛应用,能使机器更人性化的语音情感识别技术有着广阔的应用前景和商业价值。近年来随着深度学习技术的发展,语音情感识别领域也出现了许多成果。然而即便如此,现阶段的语音情感识别技术仍面临许多困难,例如高维度情感特征难以人工提取、情感语音数据量小且标注难度大、深度学习模型受语义语种信息的干扰等,导致模型识别准确率差且跨语种表现差。因此本文为了提高情感识别的准确率和跨语种跨数据集的表现力,开展了以下工作:首先,基于情感信息的高维特性,本文在语音声谱图的基础上提出一种符合高斯分布的情感特征——平滑实谱图,解决了传统声谱图中的零值问题,并去除数据中异常值和极端值的影响,提高语音情感识别性能。其次,为了提高模型从低维特征中提取高维情感信息的能力,本文提出了一种基于注意力机制的CNN-RNN模型(ACRNN),结合CNN的特征提取优势、RNN的序列任务优势以及注意力机制的局部关注优势,有效提高识别准确率。再次,为了克服小数据量限制并去除语义等信息的干扰,以提高模型识别准确性和跨语种跨数据集有效性,本文提出了一种对抗语义擦除方法,在小数据量的限制下,利用现有大数据量的语音识别任务成果进行辅助,将语义信息从语音特征中进行擦除,提高模型识别效果和跨语种有效性。最后,本文提出一种基于多尺度卷积的多模态情感识别方法,结合语音和文本情感模态信息,提高情感识别准确率。另外针对多模态情感识别系统在实际使用场景中常遇到的模态缺失问题,本文提出了一种模态缺失自适应方法,提高了系统在实际应用场景中的鲁棒性和实用性。