随着人工智能技术的发展以及电子化古籍文本数量的不断增加,古汉语信息处理逐渐成为一个重要的研究领域。中国古籍资源承载着璀璨的中华文明,蕴含着丰富的语言文化知识,对其进行整理、加工和研究是一项必不可少的工作。然而古籍文本体量巨大,仅通过资深学者人工的方式进行处理和分析费时费力。而利用先进技术对海量古籍文本进行自动分析,不仅可以大大减轻人工标注的负担,而且能够进一步挖掘出以往通过肉眼难以发现的文本特征和规律,还可以促进机器对古文的深入理解,并进一步开发出面向古文的智能应用。对于古籍文本,首要解决的问题就是自动断句(针对无标点文本)与自动词法分析(包括自动分词、词性标注、专名识别等),其自动切分和标注质量的好坏不但会导致文本深入的知识挖掘工作难以开展,而且将直接影响到语言信息处理下游任务(比如句法分析、语义分析等)的处理效果。目前,现代汉语领域的自动词法分析已经取得了不错的效果,而在古汉语领域还存在着诸多问题:(1)多以单本专书为实验数据集,数据规模较小,模型泛化能力弱,不能适用于大规模、跨时代真实文本的标注;(2)多采用传统的统计机器学习方法进行研究,严重依赖于人工设计的特征,模型标注精度有待提高;(3)绝大多数古籍文本未经标点断句,词法分析等任务首先需要建立在断句基础之上,以往的研究将断句与词法分析各任务采用“流水线”式的处理方法,忽视了各任务间的深层依赖关系,容易造成标注错误的多级扩散且整体效率低下。对于这些问题,我们提出了以下的处理方案:(1)扩大了古汉语精加工语料库的规模,为古汉语自动断句与词法分析研究提供了数据支撑。根据不同成书时代选取具有代表性的古籍文本,采用机器自动标注和人工校对相结合的方式对所选取的古籍文本进行了分词、词性标注和断句标准化的加工处理。整个精加工语料库的规模达到421万字,满足了模型跨时代适用性实验的需要。(2)基于深度学习技术构建了古汉语自动断句与词法分析架构,详细探讨了序列标注模型应用于古汉语词法分析的技术方案。深度学习模型可以通过多层非线性变换实现古汉语特征的自动抽取,避免了传统机器学习模型繁琐的特征工程。通过对比多种不同网络层次组合模型对古汉语的标注效果,得出了适用于古汉语词法分析的最佳组合模型,采用Bert向量作为输入层,采用Bi LSTM进一步提取特征,在输出层接入条件随机场(CRF)以获得整句最优的标注结果。(3)采用断句与词法分析联合学习的方法实现了古汉语多任务一体化的标注,开发了古汉语一体化词法分析平台,系统可同步输出自动断句、自动分词及词性标注的结果,避免了标注错误的多级扩散且大大提高了处理效率。通过在不同专书上设置单任务(比如,仅分词任务)对照实验,验证了模型一体化断句与词法分析的可行性;通过混合语料模型和专书语料模型的跨文本交叉实验,验证了混合语料模型的泛化能力,并进一步在大规模的精加工语料库上构建了跨时代的混合语料模型,探讨了其针对不同时代文本进行一体化标注的通用性。综上,针对古汉语信息处理在断句与词法分析方面的问题,本文设计实现了一体化的断句与词法分析标注方法,开发了一套断句与词法分析一体化处理系统,基于深度学习模型在所构建的精加工语料库上验证了不同标注层次下模型对断句、词法分析的效果以及对不同时代文本标注的泛化能力。研究表明,一体化的标注方法对古汉语的断句、分词及词性标注任务均有提升,各任务的平均F1值分别达到90.71%、92.33%、86.93%,比单任务处理分别提升了0.8%、1.16%、0.44%;混合语料模型能够胜任不同时代文本的自动标注工作,且其断句任务的效果在整体上优于单一语料模型。断句与词法分析一体化处理技术的实现为古文的深入知识挖掘以及古汉语的句法及语义分析奠定了基础。