【摘 要】
:
近年来深度学习和以预训练模型为代表的迁移学习被广泛应用于自然语言处理。将通用语料预训练模型迁移到特定情感分析任务有基于微调的迁移和基于特征的迁移两种方法。以BERT为代表的基于微调的方法,针对目标任务对整个预训练模型进行微调。以ELMo为代表的基于特征的方法,将计算代价高昂的预训练模型与下游模型的训练分离,首先从预训练模型中提取上下文词向量,再用目标任务重新训练下游模型,这样减少了训练所需的计算资
论文部分内容阅读
近年来深度学习和以预训练模型为代表的迁移学习被广泛应用于自然语言处理。将通用语料预训练模型迁移到特定情感分析任务有基于微调的迁移和基于特征的迁移两种方法。以BERT为代表的基于微调的方法,针对目标任务对整个预训练模型进行微调。以ELMo为代表的基于特征的方法,将计算代价高昂的预训练模型与下游模型的训练分离,首先从预训练模型中提取上下文词向量,再用目标任务重新训练下游模型,这样减少了训练所需的计算资源。但是一方面其捕获的上下文词向量缺乏情感信息,另一方面,当标签语料较少时,仅用情感分析任务来训练下游模型容易过拟合。本文将研究如何应用深度学习方法,从细化词向量的情感信息、高效捕获文本的时序关系和高效训练模型三个方面构建社交文本情感分析模型,从而提升准确性。针对上述问题,本文以实验室项目为背景,在对深度学习、词向量细化和注意力机制等相关技术深入研究的基础上,提出了上下文-情感词向量模型SCe SA和自注意力情感分析模型SSA。首先,为了构建具有丰富语义和情感信息的词向量,基于预训练模型和词向量细化算法,研究并实现SCe SA。然后在此基础上,基于自注意力机制构建SSA来改进SCe SA的下游模型,使其可以捕获文本的长距离依赖关系。接着,以单词情感预测作为辅助任务,提出双目标SSA以提高网络泛化度,提出多种联合训练方法来优化SSA以加快网络训练。最后,本文在SST、MR和Sem Eval等数据集上验证了两个模型的有效性。本文的主要工作和创新点如下:1)构建SCe SA模型。通用语料预训练方法获得的词向量缺乏情感信息,本文提出的SCe SA模型使用基于情感词典的词向量细化方法来构建情感词向量,将其与上下文词向量相结合来构建具有多语义和情感信息的上下文-情感词向量。实验表明,以CNN作为下游模型时,SCe SA模型在SST-5数据集上的分类准确率为48.95%,相比基于上下文词向量的ELMo-SA模型和基于情感词向量的Senti-SA模型,准确率分别提高了1.3%和1.2%。2)构建双目标SSA模型。考虑社交文本的长距离依赖捕获和并行处理,构建基于自注意力机制的SSA来改进SCe SA的下游模型。将单词情感预测作为辅助任务,提出双目标SSA以提高网络泛化度。定义加权多目标函数来权衡两个任务,并设计多种联合训练策略对SSA进行优化。实验表明,双目标SSA模型在SST-2数据集上的准确率为84.1%,比单目标SSA模型提升了0.8%。采用Unfreeze训练策略比采用Freeze策略在SST-2数据集上准确率提升了0.7%。3)与其他情感分析模型的对比。在SST-2、Sem Eval和MR数据集上,将SSA模型与已有的基于自注意力机制的SAN模型和基于多任务学习的CNN_SA模型进行对比。在SST-2数据集上,SSA模型准确率比SAN模型和CNN_SA模型分别提高了2.1%和0.7%。在Sem Eval和MR数据集上,SSA模型的准确率分别为68.2%和78.5%,与SAN模型和CNN_SA模型的效果相当。
其他文献
随着信息技术的不断发展,人们对信息的安全性越来越重视,出现了软件和硬件两种主流的加密方式。软件加密由于其加密方式简单,并且不会破坏传输信号的性能,一直被广泛应用。但由于量子计算机的出现,计算机性能的不断提升,软件加密算法逐渐会在短时间内被暴力求解的方法破解。所以现在人们越来越关注硬件层面加密,混沌加密作为一种物理层加密方式,可以实现信号的高速长距离安全传输,和现有光通信系统兼容,获得了国内外持久的
随着移动互联网的高速发展,各种Android应用为手机上网带来了巨大便利。但是,由于Android系统的开源性也产生了许多恶意应用程序,对网络安全造成了严重威胁。此前,研究人员主要基于静态代码和动态行为对Android恶意应用进行识别与分类,这两种方法计算复杂度太高,没有得到良好的普及。由于恶意应用通过诸如僵尸网络等渠道执行恶意行为,因此可以通过分析恶意应用产生的网络流量对恶意应用进行分析检测。基
据IDC数据显示,2019年前两个季度全球智能手机累计出货量约6.4亿台。在如此庞大的出货量上,不允许在研发阶段漏掉任何一个应用崩溃、系统死机或重启等稳定性问题。稳定性是保障用户长时间流畅使用设备的核心需求。随着安卓系统更新频率逐步加快,手机制造商为了抢占市场不得不缩短研发周期。因此,如何在短暂研发周期内快速发现并解决稳定性问题,为用户提供更高品质的手机,成为各大厂商研究的重要课题。本文基于安卓系
卷积神经网络逐步成为人工智能应用的基础,然而网络参数量的增加,加大了其部署难度,限制了其应用范围。如何设计轻量化算法和快速低能耗硬件加速器成为研究热点。本文基于权重压缩算法,探究网络稀疏化和低位宽推断技术,提出一种使权重稀疏化且量化为幂次的轻量化算法,并采用Image Net数据集完成算法的验证。面向该算法,本文设计了一款基于移位的稀疏卷积神经网络加速器。针对稀疏网络权重少但运算不均衡的特性,对稀
推荐系统通过推荐算法以个性化的方式向用户提供其可能感兴趣的内容。推荐算法有基于内容的推荐和基于用户行为的推荐两种。基于内容的推荐算法需要使用用户及物品的特征,对于不同的场景这些特征都会有很大差异,针对各种场景分别构建特征与模型会增加研发和运维成本。基于用户行为的推荐算法虽然可以复用到不同场景,但只考虑了用户和物品的交互,没有考虑用户行为的时序性。如何利用用户行为的时序性改进基于用户行为的推荐算法是
多智能体系统将会是未来最重要的智能体系统之一。诸如无人驾驶、机器人集群、以及竞技类运动的训练系统都是多智能体系统的应用。在多智能体系统中,协作是一种非常重要的智能体之间交互的方式。在现有的方法中,基于通信的多智能体协作是计算量最低、最有效的方式。然而,现有的方法存在通信量过大、不够稳定等问题。为了减少智能体通信量、提高系统整体稳定性,进而提升多智能体协作系统整体成功率,本文提出了一套基于特征化信息
基于卷积神经网络(Convolutional Neural Network,CNN)的目标检测算法以其优异的物体识别和目标定位性能,被广泛应用于各个领域。然而,随着应用场景的复杂化,CNN的网络层数和计算复杂度逐渐增大,传统的中央处理器(Central Processing Unit,CPU)难以实现实时处理。此时,现场可编程门阵列(Field Programmable Gate Array,FP
无线传感网络至今已应用于很多领域,其安全性也越来越重要,保证网络数据安全传输、网络中设备安全可靠一直是一个研究热点。然而受网络传感节点能量、计算和存储资源限制,给传统的密钥管理及身份认证技术带来了巨大的挑战。论文在雾计算标准框架的基础上,设计了基于对称多项式的密钥管理和身份认证方案,充分利用网络中节点的计算和存储能力,在占用较少节点资源的同时,有效地保证了传感网络的安全。论文主要工作及取得成果如下
对卷积神经网络容错性的研究,是为了构建新型的更高可靠网络模型。真正的容错性,是指在系统架构层发生异常时,神经网络仍然能保持正常应用功能的能力。在航天领域,空间辐射环境引发的软错误,会给系统的稳定运行和卷积神经网络应用带来隐患。因此,基于软错误的卷积神经网络容错性研究尤为重要。本文将围绕这方面的内容,设计适用于视觉卷积神经网络容错性研究的软错误激发系统。利用系统级仿真平台,本文对系统架构层的关键硬件
航空大数据是现代航空工业领域的重要研究课题之一,基于机载传感器的大数据获取让统计分析、支持向量机和人工神经网络等多种数据挖掘和分析技术得以应用,为大飞机异常检测、状态分析等工作提供更多技术手段。大飞机试飞时间序列数据由加装在飞机各部件上的传感器采集得到,具有维度高、样本数量多、部分数据变化快、以及样本分布随飞行状态变化等特点。包含飞机在各种飞行状态下的信息,具备研究价值。传统的移动平均和自回归等预