论文部分内容阅读
随着互联网技术以及网络平台的日益火热,越来越多的人参与到网络信息交互中。如今,大量的文本信息呈井喷式出现,人们通过网络与社交平台来表达自己的见解。通过挖掘这些文本内容,不仅可以了解用户的喜好,了解社会的热点问题,还能得到商品服务的评价信息等因素。因此,文本情感分析无论是从经济或是政治角度都有其重要性。通过对这些文本进行分析、处理、归纳和推理,我们能够在网络舆情发现等应用方面挖掘到重大的商业价值。因此,本文研究了基于深度学习技术的文本情感分类算法,具体内容包括以下几个方面:首先,实现了卷积双向长短期记忆(CNN-BiLSTM)网络模型。该模型结合了卷积神经网络(Convolutional Neural Networks,CNN)能提取高维文本特征和双向长短期记忆网络(Bi-directional Long Short-Term Memory,BiLSTM)擅长处理序列式问题的优点。本文对该模型在文本情感分类问题上进行了研究。包括设计多种规模的卷积核来提取不同的纬度特征,使用可以保留多个较强特征的KMax池化层代替仅能保留最强特征的1Max池化层。实验结果表明,CNN-BiLSTM-KMax模型相对于其他传统网络模型在文本情感分类上效果更好。其次,在CNN-BiLSTM-KMax模型中引入注意力(Attention)机制、提出新的ACBiLSTM-KMax模型、注重在情感分类任务上关注具有重要影响的关键字,可以更准确地分析文本情感倾向。实验结果表明,在模型中引入Attention机制后,模型的处理效果确有提升。然后,在ACBiLSTM-KMax的基础上,本文采用双向语言模型训练动态词向量的ELMo(Embeddings from Language Models)模型代替常用的Word2vec模型。实验结果表明,ELMo模型能使单词在语法变换时以及一词多义的情况下,有效提高词向量的质量,使得模型能在很大程度上得到优化。最后,本文验证并探究了文中提出的模型中各项参数与实验结果之间的关系,具体包括Dropout值,Epoch值,词向量质量和Batchsize参数等。实验结果显示:模型的质量和词向量的质量呈正相关,过大的Dropout会使得模型效果下降,而取值过小则无法缓解过拟合的情况。模型的效果会随着训练次数的增加先提升后下降,最终进入过拟合状态。本文在考虑Batchsize值时则要充分考虑训练时的时间成本和训练效果,再综合样本进行抉择。