论文部分内容阅读
命名实体识别是自然语言处理领域的一个分支以及一个关键技术,其任务目标是识别出文本数据中存在的特定意义或者指代性强的实体名,其识别结果将进一步影响到自然语言处理的后续任务。随着深度学习理论与技术的发展,面对不断增长的非结构化文本数据,基于深度学习的命名实体识别将具有非常重要的意义。本文使用深度学习的方法,以单向的LSTM-CRF模型为基准模型,构建一个改进的BiLSTM-CRF中文命名实体识别算法模型,以人名、地名、组织名作为命名实体识别目标,并将该命名实体识别算法模型成功应用在实践中。具体的工作如下。第一,针对单向的LSTM-CRF模型中存在的不足之处,单向的LSTM网络结构只可以学习单向的文本序列信息,不能真正做到学习文本序列的上下文信息。本文将对单向的LSTM网络结构构建为双向的LSTM网络结构,构建一个BiLSTM-CRF的算法模型,从而有助于对文本序列的上下文信息提取。第二,引入注意力机制,通过在BiLSTM-CRF算法模型中加入一个Attention层,设计并得到一个改进的BiLSTM-CRF命名实体识别算法模型。在该模型中,BiLSTM层用于对文本序列进行上下文信息的全局特征提取,Attention层用于对文本序列做重要度计算获得局部特征,最后CRF层可以实现对文本输出序列进行标注规则的学习,计算得到最佳的识别结果。本文将使用《人民日报》语料数据对三种命名实体识别算法模型进行实验对比,与单向的LSTM-CRF模型和BiLSTM-CRF模型相比,改进后的算法模型在总体命名实体识别的F值分别提升了3.86%和1.46%,最佳F值可达89.8%,能够基本满足对文本数据中命名实体的识别要求。最后本文对该算法模型的接口进行封装和界面化,通过以WEB服务的方式将中文命名实体识别系统实现并应用于实际场景中。