安全套接字层(SSL)和传输层安全协议(TLS)是网络安全的基础。SSL/TLS协议的程序实现中证书验证模块至关重要,且其可能成为整个网络生态系统中的“薄弱环节”。在以往的研究中,研究内容主要集中在证书验证的自动化测试上,通过随机组合种子证书的各个部分来生成大量证书进行模糊测试。虽然生成的证书可以满足语义与语法约束,但成本相当高,而且由于随机性,生成测试用例的有效性受到限制。为了填补这一空白,本文提出了第一个将深度强化学习应用于SSL/TLS证书验证程序的自动化测试框架DRLgencert。DRLgencert接受普通证书作为输入,并输出新生成的证书,且新生成的证书集更可能帮助发现程序缺陷。得益于深度强化学习,在生成证书时,我们的框架可以根据之前经验选择最佳的下一步操作,而不是简单的随机组合合成证书。同时,我们设计一套新的方案来支持框架的总体设计,比如X.509证书的新特征提取方法、细粒度差异测试等等。此外,我们还实现了DRLgencert的框架原型,并进行了一系列的实验。实验结果表明,DRLgencert是有效的,在第一轮的证书生成中,我们依据181900个证书种子生成181900个测试证书,其中有84661个新证书能够触发差分测试的异常结果,比例约为46.5%。此外,我们还评估了六种流行的SSL/TLS协议的程序实现,包括GnuTL、MatrixSSL、mbedTLS、NSS、OpenSSL和WolfSSL。DRLgencert成功地在这六个程序中发现了23项严重的证书验证的代码实现缺陷,并且其中大部分缺陷未曾被发现过。