【摘 要】
:
短句语义相似性判别作为自然语言处理的基础任务,对于下游的数据挖掘、信息检索、机器翻译等任务具有极其重要的作用。在目前基于匹配聚合框架的语义相似性模型中,序列对齐的过程中只考虑了单个特征空间的语义信息,并且对于全局信息的利用不够充分。另外,将序列转化为固定维度的向量的单步预测方式也会造成序列中重要信息的丢失。解决上述问题对于模型性能提升具有积极的作用。本文针对上述两方面的问题,提出基于混合全局信息的
论文部分内容阅读
短句语义相似性判别作为自然语言处理的基础任务,对于下游的数据挖掘、信息检索、机器翻译等任务具有极其重要的作用。在目前基于匹配聚合框架的语义相似性模型中,序列对齐的过程中只考虑了单个特征空间的语义信息,并且对于全局信息的利用不够充分。另外,将序列转化为固定维度的向量的单步预测方式也会造成序列中重要信息的丢失。解决上述问题对于模型性能提升具有积极的作用。本文针对上述两方面的问题,提出基于混合全局信息的增强序列对齐方法与基于GRU的双向多步迭代预测方法,并针对两部分内容分别设计了模型并进行了实验验证。论文工作得到了国家重点研发计划项目“内外贯通的审判执行与诉讼服务协同支撑技术研究”(2018YFC0831300)的支持,主要工作如下:(1)提出基于混合全局信息的增强序列对齐方法并设计模型进行了验证。该方法由三部分构成,其中基于Transformer的内部对齐方法用于利用序列本身的全局信息,基于多头注意力的增强交互对齐方式用于利用外部序列的全局信息,基于双向LSTM/Transformer的全局对齐方式用于融合序列内外的全局信息。因子分解机用于序列内部中单个分量中各维进行二阶交互增强与降维。综合上述内容,设计了基于混合全局信息的语义相似模型。实验结果显示,标准模型的准确率为89.89%,超越了目前同类主流模型近0.49%,非标准模型的准确率可达到89.97%。(2)提出基于GRU的双向多步迭代预测方法并设计模型进行了验证。该方法首先会通过双向GRU来记录增强的对齐特征的上下文信息,之后分别从两个方向使用GRU进行迭代预测。其中每个GRU的初始状态由为一个序列的固定压缩向量,每一迭代时间步的输入由上一步的隐藏状态和另一个序列完整序列通过注意力机制计算综合得到。因此每一步的输入包含了对初始固定向量的调整以及对另一个序列中完整信息的利用。综合双向的信息,则可以多次利用两个序列的完整信息,最后的预测结果由多个迭代步的预测结果共同决定。基于以上内容设计了对应了基于GRU的语义相似性多步迭代模型。实验结果显示,标准模型的准确率为89.87%,超越了目前同类主流的单步迭代网络近0.47%,非标准模型的准确率可以达到89.89%。上述两种模型在资源消耗和模型速度方面要优于基础的BERT模型,同时模型性能也相当具有竞争性,更加适合轻量级的工业部署。
其他文献
行人重识别(Person Re-Identification,简称Re ID),是计算机视觉领域的热点研究方向,主要解决跨摄像头跨场景下行人的识别与检索,具有重要的研究意义和广泛的应用前景。该技术亦可作为人脸识别技术的重要补充,对无法获取清晰人脸的行人进行跨摄像头连续跟踪。本文以人体关节姿态的图表示为辅助特征,联合深度学习和图推理,重点研究并解决行人重识别特征提取不充分、小尺度行人识别精度低和关键
支持矩阵机作为支持向量机的推广,是人工智能中的重要技术,被广泛的应用在分类和预测的问题中,如文本分类、图像识别、医疗诊断等等.这些实际问题中的数据天然是矩阵形式,其结构特征提供了数据的重要信息,因而以矩阵为变量的支持矩阵机问题的研究至关重要.支持矩阵机模型很好的考虑到了矩阵数据内部具有的相关性,其研究的主要困难在于目标函数中秩函数、0/1损失函数的非凸非连续性.目前已有的研究集中在矩阵数据的向量化
随着短视频、直播、云会议等对实时性要求较高的应用不断涌现,最小化延迟成为网络研究的方向和目标。主动队列管理对于改善网络拥塞、控制数据流延迟有着重要作用。然而传统网络的转发设备受硬件限制不支持用户自定义队列管理算法,但随着可编程网络等新型网络架构的出现,在数据平面通过编程接口管理网络节点上的资源(存储器、处理器和分组队列等)得以实现,主动队列管理技术得到进一步的发展,研究数据平面的队列管理对于改善网
目前,医药流通行业受到国家医药改革相关政策的影响,面临着在医药终端下单至送货到位的有限时间内,医药物流中心如何完成大量拆零订单的拣选作业,即如何提高拣选效率的困境。通过在实际中的应用,基于搬运机器人的“货到人”拣选系统已被证明是解决拆零拣选困境的重要手段之一。本文主要针对基于搬运机器人的“货到人”拣选系统中的订单问题进行研究,主要研究内容如下:首先针对基于搬运机器人的“货到人”拣选系统中,搬运通道
随着计算机视觉的不断进步,视觉伺服技术被引入机械臂控制领域,成为机械臂控制领域研究的核心内容之一。机械臂在工作过程中通过摄像机获得图像信息,使得操作系统更加灵活,因此,机械臂视觉伺服控制系统具有非常重要的研究价值。本文以六自由度机械臂视觉伺服系统这种结构复杂的多入多出系统为研究对象,针对视觉模型参数和摄像机内部参数未知的问题,以多入多出紧格式无模型自适应控制算法为基础,对机械臂视觉伺服系统进行了研
移动机器人作为帮助人类拓展认知范围的一类重要辅助工具,在人们的生产生活中占有越来越重要的地位。多面体机器人是一种由空间多环闭链连杆机构构成的多面体形态机构。针对地面移动机器人运动的高地形适应性需求,本论文对四面体移动机构面对台阶障碍的越障过程进行了分析,提出两种越障步态,并对其展开理论分析与样机实验。首先,对四面体移动机构支链进行构型设计,根据构型设计对其进行自由度分析,并提出基于对称驱动的滚动步
随着城市人口不断增加,公共交通压力与日俱增,传统公共交通方式已经制约了运输效率的提升。现代无轨列车是一种新型的城市交通运输工具,是对现有交通运输方式的补充,既具有公路汽车运行灵活、基建成本低的优点,又具有城轨列车载运量大、编组灵活的特点,是城市交通运输未来发展趋势。现代无轨列车的各节车体通过液压铰接机构连接,具备多轴转向的功能,可以提高车辆复杂工况下的运行灵活性。但是与单体客车、单铰接客车相比,多
在移动互联网时代,爆炸式增长的在线内容使得人们深受信息过载问题的困扰。作为缓解信息过载的利器,推荐系统能够从用户-项目历史交互中挖掘用户的个性化偏好,以过滤掉用户不感兴趣的内容。众所周知,传统推荐模型通常面临着数据稀疏和冷启动等问题,因而近年来越来越多的研究关注于融合社交网络等辅助信息来对用户兴趣进行充分建模,以改进现有推荐算法。然而,本文通过研究发现,现有社交推荐算法还存在以下问题:社交域对用户
为了帮助像考古学家、历史学家、网络审查员这类人从文档中快速查找感兴趣的内容,使用深度学习等技术对文档(如手写历史文档)进行快速、实时、精确的关键字定位是相关人员所迫切需求的,其在历史文献查阅、视觉搜索、图像检索领域具有广泛的应用价值。然而由于手写历史文档图像数据集标注困难且费时费力,使得训练数据严重缺乏不足以满足深度学习模型训练的需求。此外,手写历史文档图像具有多样的写作风格、多变的视觉外观、不均
目标检测技术是计算机视觉中的核心技术,被广泛应用在智能视频监控、自动驾驶、航空监测等领域。同时,随着遥感技术的不断成熟,可获取的遥感数据量急剧增加。因此,遥感图像目标检测技术逐渐成为研究热点,其指的是设计一个目标检测器,可以高效地识别出遥感图像中的感兴趣目标且对其进行定位。然而,此领域始终面临着许多严峻的难题。首先,由于图像涵盖的物体广泛且杂乱,造成了检测时复杂背景干扰的问题。然后,图像中的小目标