编译器模糊测试是一种对编译器的稳定性与安全性进行测试的技术。有效的模糊测试需要具有正确的词法和语法的测试用例,只有这些格式良好的测试用例才能通过编译器的解析阶段,从而对目标编译器深层次的代码部分展开测试。深度学习技术因其捕获复杂特征的能力以及较少地依赖专家工程的特点,近来逐渐被应用到模糊测试用例生成领域,这些方法通过学习编程语言的语言模型,从而在无需提供复杂的编程语言语法规范的条件下生成格式良好的测试程序,节省了大量的时间与人力成本。然而,现有方法在捕获源代码长距离语法依赖上仍然面临一定的挑战,进而影响了模型生成有效测试程序的能力。因此,现有方法仍然会生成一定比例的语法错误的测试用例,这些测试用例无法通过编译器的解析阶段,从而无法对深层次的功能和特性展开有效测试。本文的主要研究工作如下:（1）针对现有方法生成测试程序解析通过率不足的问题,提出了基于注意力机制捕获源代码中的长距离语法依赖关系进而提升测试程序有效率的方法。基于该方法实现了原型工具DSmith,应用于开源编译器GCC的模糊测试后共发现了11处软件缺陷。（2）针对现有方法生成测试程序解析通过率不足的问题,提出了基于结构化语言模型的编译器模糊测试用例生成方法来利用源代码中丰富的结构化信息。基于该方法本文实现了原型工具TSmith,应用于开源编译器GCC的模糊测试后共发现了14处全新的软件缺陷。（3）针对现有方法基于循环神经网络及其变体实现,生成测试用例效率不够高的问题,提出了不依赖于循环神经网络的前馈结构的网络模型用于编译器模糊测试用例生成。基于该方法实现了原型工具Fincober,应用于开源编译器GCC与LLVM的模糊测试后共发现了13处全新的软件缺陷。本文针对编译器模糊测试用例生成中的一系列问题,研究了基于深度学习技术的测试用例生成技术,从实际问题出发解决困难与挑战,研究工作从生成模糊测试用例的有效性、生成测试用例的效率等方面展开。实验与评估部分证明了本文所提出方法的有效性。