互联网技术的进步促进了信息系统的智能化、自动化的发展,身份认证作为保障信息系统安全的重要防线,被普遍应用于几乎所有的信息系统中。当前,应用于智能手机的图形密码和应用于网站的文本验证码伴随着智能移动终端设备、图像处理技术的进步应运而生,在本文中我们统称为认证码。虽然当前存在众多的新型认证技术,但由于认证码部署简单、成本低廉、易于维护、简单易用等特点,在当前或可预见的未来仍将是最主要的认证方式,尤其在高安全需求的信息系统中,其已成为多因子认证方案中的基础认证方式。自提出以来,认证码的安全性便受到了安全研究人员的高度关注,目前仍然是一个热门的研究课题。虽然有大量的研究工作分析和评估认证码的安全性,但当前认证码在安全性上面临的问题越来越多、安全威胁日趋严重。产生这一现状主要有如下几个原因:(1)现有的研究方法过多地关注于某一种特定的认证码方案,并没有提出通用的安全性评测方法,亦是所需要的条件比较苛刻,难以在真实的攻击场景中生效,因此并没有推动工业界的改变;(2)认证码的安全性研究通常涉及多种学科的知识,如图像处理、机器学习、社会工程学、几何学等;(3)机器学习技术近十年来的发展与突破,给认证码的安全性带来了新的挑战和机遇,而以往的研究工作并没有充分利用机器学习技术的优势,导致研究方法没有很好的与认证码本质问题结合。针对上述问题,本文充分利用了机器学习技术的优势,基于图像处理技术、几何学、深度学习和迁移学习技术,从新的角度和思路对认证码的安全性开展了以下四个方面的研究,主要工作如下:(1)发现了一种新的针对图形密码的视频侧信道攻击方法。视频侧信道攻击由于攻击成本小、攻击能力强、成功率高等优点,受到安全研究人员的青睐。而现有的攻击方法条件苛刻、需要专业设备等缺点,并在真实的攻击场景难以成功实施攻击过程。为此,本文提出根据解锁视频中指尖的运动轨迹来推断用户输入的图形密码。具体地,首先使用智能手机摄像头在任意隐蔽角度拍摄用户解锁视频片段,然后利用目标追踪算法追踪到解锁视频中用户指尖的运动轨迹,最后通过提取运动轨迹的几何特征信息确定用户输入的图形密码。大量实验结果表明,该方法的有效攻击距离在2-3米,并且攻击成功率在95%以上。我们还发现,此类攻击方法更容易破解复杂的图形密码,颠覆了人们对于图形密码安全性的认知,为图形密码的安全性研究提供了新的思路。(2)提出了一种新的基于字符分割的文本验证码攻击方法。现有的基于字符分割的攻击方法只对特定类型的验证码有效,而且需要大量的专家知识用于调整分割参数,这大大降低了攻击效率,并且验证码的微小改进便能够使其失效。本文利用生成式对抗网络,提出了一种字符分割模型。该模型能够使验证码中相邻字符的间距扩大,从而可以对验证码中的字符进行有效地分割。基于字符分割模型,使用不同的机器学习方法构建验证码识别模型。实验结果表明,该字符分割方法能够有效地分割验证码中粘连、扭曲的字符,并且基于字符分割算法所构建的识别模型,能够攻破所有实验中的6种主流网站所使用的验证码方案。(3)提出了一种端到端的基于迁移学习的验证码攻击方法。深度学习技术的突破,使验证码面临新的安全挑战。而现有基于深度学习的攻击方法需要数百万目标网站的真实数据,而收集和标记如此巨大数量的数据变得非常困难,尤其当前几乎所有的主流网站都使用了防爬机制。为了降低攻击成本,本文构建了一种数据生成模型,可以生成任意数量且与目标网站风格类似的验证码,利用生成模型所合成的数据,学习验证码求解器。为进一步缩小生成数据所导致模型过拟合问题,利用迁移学习技术,使用少量的目标网站验证码,对验证码求解器进行微调。实验结果表明,所构建的求解器能够破解当前主流网站所使用的所有验证码方案,并且比现有的方法的破解率平均高40%以上。(4)探索了对于认证码的安全性保护方案。对于图形密码,通过分析当前基于视频侧信道攻击方法成功的关键因素,设计了对应的保护方法。对于文本验证码,提出了一种基于对抗性样本的保护方案,通过在文本验证码中加入不可见干扰噪声,使基于深度学习模型的攻击方法失效。实验结果表明,所设计的认证码保护方案在不影响可用性的同时,能够有效地抵抗现有方法的攻击。