基于模型不确定性的细粒度文本情感分析研究

来源 :国防科技大学 | 被引量 : 0次 | 上传用户:wdqbupt
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着自然语言处理技术的兴起,情感分析得到了广泛的研究。细粒度情感分析由于其分析对象更具体、更明确,成为近年来的研究热点。主流方法首先获取表征特定目标的句子嵌入层,然后将其馈送到各种经典神经网络以学习特征,最后通过分类器获得给定目标的情感极性。从CNN,LSTM,RAM,IAN到GNN的各种变体,研究人员挖掘各模型优势尝试对给定目标与其上下文之间的关系进行更好的建模。尽管已经取得了一些成果,但细粒度的多分类情感技术由于其准确率不够高、受数据集规模和类别样本是否均衡影响较大等特点,仍然无法完全应用于正式的分析场合,甚至出现相当比例极性完全预测相反的情况,同时模型不能对预测的结果进行解释。相比之下,通过贝叶斯神经网络建模模型的不确定性,对模型权重的分布进行推断,相当于集成权重分布上的多组神经网络模型,对小数据的学习有更好的鲁棒性,为深度学习模型提供了概率解释。因此,我们从模型的预测结果与模型置信度(不确定性)的关系入手,利用贝叶斯神经网络可以将概率建模与神经网络相结合的特性,对预测结果给出相应的模型不确定性,设计不确定性感知的损失函数UAL(Uncertainty Aware Loss)指导模型训练,为预测结果提供更合理的不确定性解释,并且提出不确定性感知的两阶段修正预测模型UATR(Uncertainty Aware Two-stage Refinement Model),设计动态获得各批次不确定性阈值的策略,当不确定性大于一定阈值时,样本将会被筛选进行二次预测,建模句子成分间的依赖关系以获得更好的分类效果。本文的主要内容包括:1)针对规模较小、类别样本不均衡的数据集中出现极性预测相反比例较大的问题,探究模型不确定性应用于细粒度情感分析任务的有效性。2)在基于贝叶斯神经网络获取模型不确定性的基础上,设计并实现不确定性感知的损失函数UAL,使模型预测结果趋于正确分类样本伴随较小不确定性、错误分类样本伴随较大不确定性的区间分布,为预测结果提供可靠的不确定性解释,降低极性预测相反样本的占比。3)在得到误分类样本在不确定性区间合理分布的前提下,设计得到二次修正不确定性阈值的策略,提出基于不确定性的细粒度情感分析模型不确定性阈值指导的两阶段修正预测模型UATR,进一步提高细粒度情感多分类准确率和宏观F1值。通过在标准基准测试集Sem Eval14上设计实验,与目前的SOTA模型相比,本文提出03的模型UATR在laptop数据集上的准确率和宏观F1值分别提高了2.66%,4.19%,restaurant数据集上的准确率和宏观F1值分别提高了1.7%,2.2%。
其他文献
对拦截机动目标而言,比例导引律存在理论上的缺陷,它不能保证视线的平稳。最优制导律虽在理论上可以实现零脱靶量,但这种制导律形式过于复杂,且需要精确已知弹目相对距离、相对速度以及目标加速度等信息。本文首先对一般的现实真比例导引律(RTPN)拦截机动目标的捕获区域进行理论分析;然后基于强化学习中两种典型算法深度Q学习(DQN)和深度确定性策略梯度(DDPG),提出两种只需视线角及视线角速率信息的强化学习
学位
研究生教育无论是面向职业性,还是学术性,均以能力培养为目标。设计的生产、生活性特征,使其具有鲜明的现实性与实践性,设计行为和活动的目的旨在满足和美化人类的物质与精神需求,其研究生培养必须秉承理论与实践、科学与艺术、历史与现实、本土与国际四个有机结合。
期刊
2020年伊始,新冠疫情席卷全球,线上交流备受青睐,文本数据爆炸式增长。随着移动互联网的飞速发展和文本数据的海量积累,真实场景中的短文本分类需求变得愈加迫切。然而,在真实场景中,短文本分类同时面临标注数据不足、数据稀疏和不平衡分类三大挑战。现有研究又鲜有同时解决这三大挑战的有效方案。鉴于此,本文聚焦于短文本分类问题,主要完成了以下工作。在第一章,对短文本分类问题的研究背景、研究意义、相关研究现状,
学位
众所周知,人工智能现在已经成为生活和科学研究中难以绕开的主题。目前,设计能够面对复杂环境并在环境中做出良好决策的智能体是现代人工智能研究的基础。在控制科学领域,对传统单一对象的控制方法和理论已经愈发成熟。同时,随着被控对象的数量的增加,多智能体系统逐渐成为在控制领域一个研究的热点。与传统的单一对象控制不同,对多智能体系统的控制往往需要考虑智能体所处的环境对整个智能体系统的影响。不幸的是,在实际应用
学位
纺织产业是中国重要的支柱性产业,与民生大计息息相关。在以国内大循环为主要思路、国内与国际双循环互为促进的新型经济发展格局下,中国纺织业面临着先进制造技术新环境下可持续发展和高端发展的机遇和挑战,亟须实现产业的数字化、智能化转型升级。提升纺织产业整体的智能制造水平对实现中国“制造强国”的战略目标而言至关重要。然而,纺织企业在数字化转型的过程中,常因对企业原有发展路径的依赖以及数字基础设施不够完善,缺
学位
党的二十大报告指出,全面建设社会主义现代化国家,最艰巨最繁重的任务依然在农村,农村问题是最基础、最复杂、最急需解决的重大历史与现实问题。随着社会治理创新的推进和乡村治理问题的不断显现,仅靠政府这一单一主体显然无法应对复杂的治理环境,这种现实需求生成了建设乡镇社工站的独特历史逻辑和现实逻辑。同时,我国广东、湖南等地乡镇社工站的试点探索彰显出乡镇社工站参与基层社会治理、改善民生服务的突出优势。福建省民
学位
因为农业人口众多,耕地面积有限,我国农业一直以小农场为主的生产方式进行,但是随着人口老化的逐步加剧,同时伴随着城市化的推进,现在农业劳动力开始减少,未来中国粮食安全面临“谁来种地”和“如何种地”的挑战。解决这一问题的实现路径之一就是无人化农场技术。该文通过对上海市嘉定区无人化农场的技术实践,对无人化农场的概念、技术架构,以及基础设施、作业设备、数据监测系统和管控服务平台等关键技术进行系统阐述,对无
期刊
随着大数据时代的来临,深度学习技术的浪潮席卷了包括图像分类、语音识别、自动驾驶和内容推荐在内的多个应用领域。但是,数据量和神经网络模型复杂性的增加带来了巨量的计算开销,导致单机训练速度缓慢。基于参数服务器架构,在多个节点上分布式训练深度神经网络模型是一种行之有效的加速方法。由于神经网络模型训练的迭代性质,不同的计算节点之间需要频繁地进行通信以交换大量的数据,这就导致通信开销成为分布式训练中的关键瓶
学位
随着当今信息化时代的高度发展,信号检测技术无疑已成为了科学领域关注的重要热点。特别是在复杂背景下的信号检测中,传统的信号检测方法开始出现局限性,检测性能不能满足实际需求,故探索信号检测的前沿技术在信号处理领域显得愈来愈重要。作为数据信息提取、凝练的有力工具,矩阵信息几何(Matrix Information Geometry,MIG)理论已经在信号检测领域被应用,并取得不少成果,但其高时间复杂度和
学位
编译器模糊测试是一种对编译器的稳定性与安全性进行测试的技术。有效的模糊测试需要具有正确的词法和语法的测试用例,只有这些格式良好的测试用例才能通过编译器的解析阶段,从而对目标编译器深层次的代码部分展开测试。深度学习技术因其捕获复杂特征的能力以及较少地依赖专家工程的特点,近来逐渐被应用到模糊测试用例生成领域,这些方法通过学习编程语言的语言模型,从而在无需提供复杂的编程语言语法规范的条件下生成格式良好的
学位