随着互联网的发展,视频、图像已经成为生活中主要的数据资源,其中文本信息具有高层的语义信息,是对视频内容最直接的阐述,可以用于视频的检索、分类、理解等多方面。图像文本识别在计算机视觉中引起了诸多关注,已经提出了很多可观的算法并达到了工业生产上的性能要求。相对于图像文本识别,视频文本读取研究比较少,但是工业上文本读取背景更多是使基于视频的,所以研究从连续的视频帧中读取文本更有意义。现有的视频文本提取的流程多是首先在单帧图像上检测出文本区域,然后跟踪文本移动轨迹,最后对每个轨迹里的文本区域一一识别,同时可用多帧图像融合技术来进行文本图像增强,这些方法虽然在实践中证明了有效性,但还是存在几个不足:其一,基于单帧的文本检测没有充分利用视频文本的时空特性,而多帧图像融合依据关键帧的选取,且融合分辨率低的图像会导致图片模糊;其二,文本识别模通常使用RNN来构建语言模型,但是RNN特定结构限制了模型效率,且对文本区域一一识别导致高计算成本。本文针对这两个问题进行了研究,设计了视频文本读取框架,其中包括:文本检测、文本跟踪、文本识别,主要的研究内容如下:1.提出了基于多帧融合的视频文本检测模型,视频上的文本相对于背景在一段时间内具有不变性,如果每帧独立的处理可能会失去了帧间的联系。本文选取相邻的多帧图像首先经过特征提取网络,然后通过注意力机制网络自动选择并融合,提取更加有表达力的特征。2.设计了一个文本区域分类的算法,通过多任务方式与文本识别模型集成在在一起,使用文本识别的损失进行弱监督学习,从而避免了标签标注。对于跟踪生成的文本流,并不对每个文本区域进行识别,而是选择质量最好的进行识别,从而提高识别精度的同时减少计算花销。3.设计了一个全卷积的文本识别算法,保证了少量的精度损失的同时提升识别速度。在特征编码器中的网络中引入空间注意力和通道注意力模块,加强了网络对前景文本的关注和抑制背景噪声的干扰。