文字的检测与识别在实际生活中应用广泛,比如字符识别系统,名片识别系统,证件识别系统,交通管理中的汽车车牌识别系统等领域。随着网络和科技的发展,图像文字检测和识别的应用场景在不断改变,图像版面越发复杂,处理难度增加,传统的光学字符算法无法满足当下图像文字检测和识别的需求。随着深度学习的发展和其在计算机视觉领域的使用,为文字检测识别技术的发展提供一个新的思路。本文通过研究主流的多方向图像文字检测算法,得到现有算法的特征提取、池化和候选框精修模块存在待完善点。因此,本文引入特征金字塔,并对其连接方式进行改进,提出半紧密连接方法来充实各层的语义信息。从文字检测所需要的特征性质出发,使用低层的特征信息进行检测操作,提高算法的结果。针对池化部分,量化操作使用邻近插值法导致特征不对齐的情况,使用双线性插值法进行改善。同时针对文本行的宽高比特征,引入多尺度池化操作,使用三种池化尺寸进行池化,来增强水平文本包围框的特征和垂直文本包围框的特征,并对仿射变换后的感兴趣区域90度旋转后进行池化,增强算法的鲁棒性。在候选框精修部分,使用置信分数对候选框进行筛选,置信分数的计算考虑了候选框之间的夹角信息,降低候选框筛选的误判情况。针对已有的图像文字识别算法,分析主流算法的优缺点和所需要的资源后,决定本课题采用编码-解码模型,设计端到端的文字识别算法。本课题使用卷积神经网络对图像特征进行提取,在编解码部分使用双向简洁循环单元减少网络参数,在解码部分,引入自注意力机制解决识别长文本行时出现漏识别和误识别的情况,提高识别结果。本文中多方向图像文字检测阶段使用ICDAR2015数据集进行实验和分析。通过设置变量进行交叉实验,确定改进策略的最佳变量组合,使用训练数据集进行训练,与当前主流的图像文字检测算法进行比较,证明本文的改进方法可以提升多方向图像文字检测的结果。另外,本文中图像文字识别阶段在ICDAR2013数据集进行实验并对比主流算法,证明本文的改进方法可以提升图像文字识别的结果。