智能化的时代正在加速到来,语音作为最自然便捷的交流方式,是推动生活与工作智能化的重要手段。语音识别(Automatic Speech Recognition,ASR)技术是一种将输入的语音信号转换为文本,进而能理解其内容的技术。近年来,随着基于序列到序列的通用建模方法的发展,诞生了端到端的语音识别模型。与传统方法相比,端到端语音识别模型仅包含一个单独的序列模型,可以直接从声学特征序列得到识别的单词序列,简化了语音识别的过程。同时模型不依赖语言模型和发音词典,降低了对专家知识的要求。然而,端到端语音识别模型通常需要大量的语音-文本对来训练,才能获得较好的性能。在实际应用中,收集大量配对数据既费力又昂贵,导致端到端语音识别模型经常无法有效识别罕见词和专有词。为此,本文将探讨基于文本数据的端到端语音识别模型的训练数据扩充方法。主要的工作和创新点如下:(1)基于RNN-T(RNN Transducer)的端到端语音识别模型基于RNN-T的端到端语音识别模型在优化过程中,能同时兼顾声学信息和语言学信息,是目前端到端语音识别领域性能最好的方法。因此,本文使用RNN-T模型搭建端到端语音识别基线模型,并给出了实验结果。(2)基于生成对抗网络的训练数据扩充方法针对RNN-T模型无法有效识别罕见词和专有词的局限性,提出一种仅使用没有配对语音信号的纯文本数据来训练RNN-T模型的方法。受对抗训练机制的启发,先使用一个精心设计的生成对抗网络(Generative Adversarial Networks,GAN)来合成大量文本数据所对应的发音基元序列;然后使用这些文本数据及其对应的发音基元序列作为扩充数据,来对RNN-T模型进行重新训练。(3)生成对抗网络与连接时序分类结合的训练算法上述数据扩充方法中,由于文本序列与发音基元序列的映射关系较为复杂,同时生成对抗网络中判别器的结构简单,容易出现模型坍塌问题。为此,提出通过多任务学习(Multi-Task Learning,MTL)机制将连接时序分类(Connectionist Temporal Classification,CTC)与生成对抗网络两者的损失函数进行结合,以共同监督GAN网络的训练方法。最后,在中文普通话数据集AISHELL-1和AISHELL-2上的实验结果表明,采用本文所提出的数据扩充方法后,能获得比基线模型更好的识别结果。