论文部分内容阅读
数据表示是自然语言处理的基础任务,传统的数据表示指的是通过人工整理特征信息的过程。近几年来,随着深度学习和表示学习的普遍使用,基于神经网络的数据表示在各领域表现出色。在自然语言处理任务中词袋模型作为主要的语义表示方法,该方法由于数据量的欠缺而导致数据稀疏问题。因此,早期的方法一般使用在解决某一类问题,应用层面具有极大的局限性。本文将对神经网络词表示技术进行总结与分析,并将该技术用到维吾尔语形态归纳技术和文本情感分类任务中。在研究词向量表示方法时,对现有的词表示技术进行了理论分析和实验评估。在理论上,研究了Skip-gram模型与CBOW模型的理论体系,并对其进行了实验结果的对比。实验过程中,从模型,语料和参数角度分析了词表示技术。用上述两种模型生成词向量后,对这两类模型在语义、形态和神经网络分类任务中的表现来评价实验结果。由于语料规模有限,本文实验结果呈现CBOW模型的性能比Skip-gram的强。基于无监督学习的形态归纳方法而言,在整个过程中只需要对语料进行训练,而不需要额外的形态语言学知识。利用词向量根据语义相似性和形态上的不同评价差异规律,而且在语义上的关联来评估形态变换过程中训练出的形态规则,并将此规则用到建立形态分析器上。用1000个手工整理的形态切分测试集来评估形态分析规则,最终得到了81%的精度。基于神经网络情感分类任务中,对CNN模型,LSTM模型和BiLSTM模型等进行了理论分析和实验评估。情感分类任务中,首先,在预处理部分生语料进行了词干提取、降噪和维度下降等操作,其次,引入预先训练的词向量,使模型能够获取词与词之间的语义信息,从而弥补和增加语料包含的情感特征信息。实验证明,在相同的情感分类语料上,预处理阶段的形态归纳和词向量初始化模型输入后的CNN模型提升1.8%,LSTM模型提升3.7%,BiLSTM模型提升3.9%,总体上体现了本文分类方法的有效性。