语音是人与人之间沟通的重要桥梁,是人类实现信息交互的媒介。尤其是随着智能时代的到来,机器学习和人工智能技术的进步,人们对于更加智能的语音识别系统的需求也变得越来越高,由此出现了一系列针对语音识别技术的研究。传统的语音识别系统GMM-HMM和DNN-HMM中存在着无法利用前后文信息对当前信息进行预测的缺点,针对这一问题,人们提出了利用循环神经网络来搭建声学模型,但在使用过程中发现循环神经网络仍然存在着长记忆弱的缺点。针对上述问题,提出了基于深度双向门控循环神经网络(Deep Bi-directional gate recurrent unit,DBGRU)来搭建声学模型。同时在搭建语言模型时,针对循环神经网络语言模型处理长文本信息能力弱和N-game语言模型需要大训练文本量的弱点,提出了基于注意力机制(attention)来搭建语言模型。通过设计新的声学模型和语言模型,搭建了基于深度双向GRU与注意力机制的语音识别系统,论文完成的工作主要包括:(1)设计了基于DBGRU-CTC的声学模型。模型主要采用了深度双向GRU并结合了CTC损失函数来搭建声学模型。采用深度以加强模型对音频特征的提取能力,双向GRU则增强了网络训练和处理音频的能力。实验结果表明,基于DBGRU声学模型的词错误率仅为12.79%,相较于传统的语音识别系统GMM-HMM和DNN-HMM的识别词错误率分别降低了19.36%和13.41%。(2)设计了基于注意力机制的语言模型。模型主要采用了多头注意力机制模块和全连接网络模块。其中,采用多头注意力使得模型具有了处理长文本的能力,并且通过对句子中的单词分配以不同的注意力,使得模型具有了更加优秀的语言表达能力。采用全连接神经网络,通过网络的升维和降维操作,使得模型具有更好的抽象表达能力。试验结果表明,采用注意力机制搭建的语言模型的识别准确率达到了91.15%,同时,模型的困惑度在测试集上也仅为38.64。(3)设计了基于DBGRU-CTC与注意力机制的语音识别系统。将DBGRU-CTC声学模型和注意力机制语言模型集成到语音识别系统中,实验结果表明,设计的语言模型能使语音识别系统的识别准确率相对于单一的声学模型提升了0.08%。同时对语音识别系统的声学模型对比实验进行分析和讨论,实验结果表明,采用DBGRU-CTC模型的识别词错误率相较于RNN-CTC、GRU-CTC、MBGRU-CTC分别降低了22.75%、17.54%和6.42%。同时,还实验了不同迭代次数下模型的性能,并对模型在噪声环境下进行了实验,结果表明,在噪声环境下DBGRU-CTC模型的识别准确率仍然达到了81.21%。