【摘 要】
:
深度神经网络(deep neural networks,DNNs)在自然语言处理(natural language processing,NLP)的各个领域特别是情感分析领域已经取得了广泛的应用。DNNs具有特征自学习能力,特别适合学习文本抽象、高维和复杂的语义特征。DNNs具有海量的训练参数,其决策过程具有难以理解的黑盒性,而具有可解释性的模型不仅容易改进,也更容易被使用者理解和信任。为此,本文
论文部分内容阅读
深度神经网络(deep neural networks,DNNs)在自然语言处理(natural language processing,NLP)的各个领域特别是情感分析领域已经取得了广泛的应用。DNNs具有特征自学习能力,特别适合学习文本抽象、高维和复杂的语义特征。DNNs具有海量的训练参数,其决策过程具有难以理解的黑盒性,而具有可解释性的模型不仅容易改进,也更容易被使用者理解和信任。为此,本文以情感分析任务为切入点,探究深度神经网络在情感分析任务上的建模方法,并构建自解释生成模块对模型的决策行为加以语义形式的理解和解释。论文的主要工作包括:一、提出基于多词嵌入多模型融合的文本情感分析建模方法。论文比较了使用不同词嵌入方式和机器学习模型对情感分析测评结果的影响,并基于多词编码实验了多模型融合方法以提升情感分析性能,最后在大规模酒店评论数据集上证明该融合方法能有效改善情感分析性能,分类准确率较最优基线模型提升1%。二、提出基于改进预训练语言模型的文本情感分析建模方法。微调语言模型存在训练参数过多、模型迁移性差和样本输入长度受限等三个主要问题。针对这些问题,本文试验了冻结语言模型权重、压缩语言模型、使用卷积网络和胶囊网络提取高级语义特征以及修改位置编码等四种方法。和直接优化微调模型的方法相比,以上方法的组合能将模型的准确率最大提升1.5%,训练时间减少67%。三、提出基于改进注意力机制的多输入文本情感分析建模方法。多输入文本间的信息交互是细粒度情感分析的关键。具体来说,在动态词编码的前提上,使用双向LSTM网络和对关联信息进行有效挖掘,并将双向LSTM的隐藏层状态作为注意力层的输入,之后依据文本交互的位置信息重新更新注意力分布。最后,针对注意力层的权重,使用权值共享方法以加深网络深度,使用胶囊网络做分类决策。相比基线模型,本方法构建的模型在F1值和准确率上均有1%以上的提升。四、提出一种基于预训练语言模型的胶囊网络,用于情感分类任务,并可生成自解释文本作为可解释依据。本文首先提出了一种中文自解释平行语料构建方法。之后使用该语料训练解释生成网络,对分类决策加以解释。在中英语料SNLI语料上对模型进行自动测评和人工测评,结果显示该方法对比基线解释模型不仅提升了5%的准确率,困惑度、BLEU等可解释性指标也都有所提升。最后,在所构建的细粒度情感分析语料上对本文提出的解释性框架进行测试并验证解释依据。
其他文献
如今,随着智能车辆的增多,城市车联网的规模越来越大,这使得车辆在行驶过程中,能够为驾驶员和乘客提供随时随地的信息访问。与此同时,网络中的通信用户对城市车联网安全的要求越来越高。由于车联网中车辆节点移动的随机性,网络拓扑的时变性以及通信环境的复杂性,城市车联网面临众多安全问题,主要存在的问题有以下两点。一是在存在多种网络攻击的情况下,难以保证车辆节点身份识别的准确性;二是车联网在向用户提供云计算服务
随着我国改革开放事业的深化发展,我国的工业化成果硕果累累,各种高端装备不断推陈出新,装备的性能指标不断提高,国产化率不断提升。近年来,在信息技术领域,国产的软硬件项目百花齐放,取得了很大的进步。但是,我国在高端芯片和基础软件领域仍然和国外存在不小的差距,甚至受制于人。尤其是近两年美国对我国发起贸易战,限制我国的企业、高校和其他科研单位的发展,带来了巨大的经济损失。在这个背景下,国内科研院所和科技企
区块链技术近几年发展迅速,早期的区块链应用都是公有链,承载了大量可自由出入的节点,系统一般采用工作量证明等共识算法。采用证明类共识算法的系统一般每秒可处理交易数很低以及交易确认延迟很高,难以适应于需要高并发、低延迟的金融类区块链应用。另一方面,在以比特币为代表的公有链系统中,为了提高共识节点挖矿的动力,系统会给予挖到新区块的共识节点经济奖励,这样有利于区块链的不断延伸。经济奖励直接影响共识节点挖矿
随着无人机应用领域越来越广泛,国产无人机产品的更新迭代速度也越来越快,导致其研制周期时间越来越短,而在整个研制周期中软件测试阶段所占的比重日益增大。其中,配置项测试是非常关键和耗时的一环,如果能有效地减少该项的测试时间,对于缩短整个产品的研制周期有很大帮助。本课题的主要目的是设计和实现无人机飞控软件配置项测试软件。本文首先对于国内外飞控软件测试方式进行了研究,介绍了软件开发中使用到的Eclipse
随着智能交通的不断发展,车载自组织网络在提高道路安全、实时数据收集、自动化控制、智能收费、增强导航以及一些特定的位置服务、音视频传输、娱乐服务、车内办公等各方各面都发挥着至关重要的作用。然而由于车辆的快速移动性,车载自组织网络的拓扑和网络情况会时刻发生改变,导致其路由存在两个方面的问题:一是在单播路由情况下,车载自组织网络的动态变化性易导致网络环境复杂,消息传输时延增加,同时车辆的快速移动性会造成
文本信息是图像中的重要线索,检测图像中的文本是智能信息处理的重要课题之一。传统的文本检测任务通常是用来提取文档图像中的文字。因为文档的背景一般比较干净、没有复杂的纹理信息,文本信息提取往往比较简单,然而在自然场景下,文本提取的难度往往远大于此,一个原因是它的背景非常丰富,例如街道、植被、楼宇等,另外文字的展现形式也是各种各样,艺术字、变形字、多语言混合、残缺字、光影遮蔽等,而且自然场景图片的质量往
多标签图像是指一张图像中含有多个关注对象的图像,对于多标签图像的研究主要是多标签图像分类。多标签图像分类目前存在的问题主要是分类精度和分类时间没办法有很好的平衡,并且模型的适应能力较差。多标签图片学习目前主要的方向是问题转换和模型适配,问题转换主要是在思想和策略上进行优化,模型适配是通过改变模型的结构来适应多标签,为了得到更强泛化能力的模型,本文在多标签图像分类中开展了详细的研究,主要贡献如下:(
肺癌是全人类一直无法攻克的医学界难题,其极高的发病率和死亡率对人们的身体健康有着巨大的危害。专家研究表示,为了有效地治疗肺癌,提升患者的存活率,可以利用计算机辅助诊断技术来辅助医生进行肺结节的良恶性诊断,该方式明显提升了肺癌早期筛查的准确率和医生的工作效率。随着人工智能的迅猛发展,基于深度学习的计算机辅助诊断技术在医疗诊断领域表现出了强大的生命力和明显的优势。针对肺结节的良恶性辅助诊断,本文在分析
在互联网行业不断发展的背景下,世界各个领域也都开始应用网络技术来创造一个更好的发展环境,同时这为行业发展带来了新的销售与生产革命机会。电子商务不仅使客户与商家之间从实体消费模式过渡到线上商务营销模式,移动互联网的异军突起和相关技术的成熟,使得更多的企业开始通过移动平台来获取客户,从而企业实体店面的营销成本得到有效降低。中小店家在移动互联网的发展的大趋势下,迫切需要一套能够对商品在线平台进行管理的系
行人检测是一种特殊的目标检测任务,它的检测对象为行人,是一个二分类的检测任务。行人检测任务中存在三个关键问题——多尺度问题、遮挡问题和光照问题。目标检测算法的准确率往往与目标的在图片中的尺度有关,大多数目标检测算法对小目标的准确率都较低。当物体发生遮挡时,一方面,物体的轮廓、边缘等特征会被改变,另一方面,物体的特征会重叠在一起难以区分,从而导致误检和漏检。当光照条件比较极端时,可见度较低,这也会导