【摘 要】
:
信息时代,互联网上拥有着海量的文本数据,为了方便的检索和利用这些文本数据,需要让计算机“理解”文本,理解语言的核心则是理解语言语义。考虑到语言语义本身是难以表示的,
论文部分内容阅读
信息时代,互联网上拥有着海量的文本数据,为了方便的检索和利用这些文本数据,需要让计算机“理解”文本,理解语言的核心则是理解语言语义。考虑到语言语义本身是难以表示的,需要一种方法对计算机理解语义的准确性进行判定。句子对建模任务因其形式简单、可间接测试人工智能对语义的理解程度的特点而被提出用于评价计算机语言理解能力。句子对建模任务主要形式是对于一对(或一组)句子之间的语义关系进行预测,是一系列语义理解任务的统称。神经网络难以基于少量数据抽取出泛化性能强的特征,因此神经网络模型在小规模数据集上表现往往不佳。本文首先基于多种词表示方法和距离/相似度函数构建了一套用于衡量句子对语义相似程度的特征集合,用以提高神经网络模型性能。然后使用CNN、RNN和注意力机制基于句子向量和交互-汇集两种网络结构构建了多个神经网络模型,用以抽取不同形式的特征,最后将多个不同的神经网络模型集成以最终提高模型性能。本文选择在CHIP 2018 Task 2相关数据集上进行实验,最终模型的F1值为88.80%,达到了同期50支参赛队伍的第一名,表明了该方法的有效性。浅层的神经网络难以抽取复杂的特征,简单增加模型深度能提高模型的复杂度,但是却会导致模型难以训练,性能退化。受到残差连接网络的启发,本文将残差连接引入模型,在提高模型深度的同时让模型依旧容易训练,缓解了模型性能退化的问题,最终提高模型性能。实验表明,本文提出的模型在使用基于Token的词向量的情况下在SNLI数据集上达到了最佳性能,且在基于BERT的相关实验中表明本文提出的模型能更好地利用词向量信息,获得更多的性能提升。此外,句子对建模任务的各个子任务的任务形式和任务目标相似,为了减少重复工作,帮助研究者更好更快地构建和训练该任务下的神经网络模型,本文构建了一个通用的配置化参数框架,该框架基于Pytorch并结合tensorboard工具包进行搭建。该框架可以通过参数配置和简单的数据流自定义函数完成句子对建模任务神经网络模型的构建、训练以及训练过程可视化。由于参数化非常直观,该框架减少了工作量的同时也减少了出现低级错误的可能,提高了工作效率。本文的句子对建模工作均基于该框架进行。
其他文献
随着高等公路的迅猛发展以及汽车的普及,高速公路出行越加普遍。汽车高速行车工况下,车窗开启所产生的气动噪声严重影响舒适性;而车窗长时间关闭,二氧化碳浓度升高又容易产生疲劳诱发交通事故。因此,深入分析气动噪声意义重大。本文采用直接计算LBM-LES法,对某款实车全尺寸模型进行仿真分析,结合道路试验对包含风振噪声的较宽频段气动噪声进行研究。揭示风振噪声发声机理,分析风振噪声主要影响因素,归纳总结不同工况
随着大数据技术和人工智能技术的高速发展,网络结构作为一种常用的数据结构,用于描述现实世界中实体之间的复杂关系,在许多的领域中已经被大量的使用。常见的应用包括在网络
黑钨矿钨酸盐电极材料因稳定的物理和化学性能、环保、低成本以及良好的电化学性能等优点,成为超级电容器电极材料的研究热点。本论文采用共沉淀法制备了 Ni1-xCoxWO4(x=0、0.1、0.15和0.2)样品。由X-射线衍射(XRD)和场发射扫描电子显微镜(FESEM)知,Co掺杂对NiWO4的晶体结构和表面形貌影响不明显。X-射线光电子能谱(XPS)分析表明,Co离子是+2价的形式进入到NiWO4
随着人工智能学科的发展以及计算能力的提高,基于深度学习的人体行为识别研究已经成为热门的研究课题之一,同时也是非常有挑战性的研究难点。因为人体行为识别技术在人类社会
神经网络的落地是近几年的重要研究发展方向之一,卷积神经网络因其特性,被广泛应用在图片识别和图像处理领域。随着深层的卷积神经网络在各大数据集上的精度越来越高,其网络
环境污染已经成为我国在发展过程中不容忽视的重要问题。新疆作为我国经济发展较为落后的省份,工业化发展程度较低,环境污染程度与其他省份相比虽然较轻,但是新疆的环境污染
中医院是中药材的需求方,中药材的保质保量供应对于中医院的长远发展至关重要。随着人民群众对中医药需求的增长,中医院对中药材的需求也在迅速增长。现在的中医院大多属于公
无等待流水车间调度问题属于一类重要的组合优化问题,它广泛的存在于炼钢、食品、化工和制药等领域。当工件数目大于等于3的时候,该问题已经被证明是NP-hard问题。于是,吸引
林下伴生种是降香黄檀林分中特殊的组成部分,对维护林分系统稳定性和提高立地生长力具有重要意义。本文运用灰色关联度分析法对澄迈林场降香黄檀人工林林下伴生植被的适应性
内燃机作为一种高效率的热能动力机械,广泛应用于汽车、船舶、铁路、工程建筑等多个领域。车用柴油机向着轻便、高速、高压、大功率等方向发展,其强化指标不断提高,机械负荷不断增加,对于柴油机的设计也提出了相应的要求:提高效率、增加可靠性、减轻质量、降低燃油消耗率以及降低排放等,相应的柴油机的零部件也就有了更高的强度要求。连杆是曲柄连杆机构的重要组成部分,连杆在往复运动的工作循环中,一直受到来自最大爆发压力