不同序列间语义关系建模是自然语言处理领域的核心问题,在不同的应用场景下,该问题可以被当作文本推理或文本生成。其中文本推理是指给定输入序列和目标序列的情况下,研究如何判断他们之间的语义关系,文本生成则是研究只给定输入序列而目标序列未知的情况下,如何根据输入序列产生目标序列。本文分别以自然语言推理和机器翻译这两个文本推理与生成各自的典型任务作为目标任务,探索推理与生成技术,然后将它们扩展到多模态场景下,研究视频弹幕的匹配与生成。本文进行了如下的具体研究:1.基于深层匹配机制的文本到文本的推理技术研究。本文首先研究文本序列到文本序列的推理任务,现有方法主要使用由循环神经网络作为编码器和浅层注意力机制作为匹配层构成的匹配模型来处理这类任务。循环神经网络编码序列时,可以逐词传递信息,理论上不会受到距离的影响,但是在实践中发现,随着目标序列长度增加,该模型的编码效果会逐渐变差,因而给匹配模型造成了长距离依赖问题,同时浅层注意力机制不足以编码序列之间的复杂语义关系,因而产生了序列间语义交互力度不足的问题。本文以自然语言推理这一典型的文本推理任务为目标,来研究如何缓解上述问题。自然语言推理的目的是判断前提句能否推断出假设句。针对这两个问题,本文提出了基于深层匹配机制的文本到文本的推理模型,该模型通过引入自注意力机制来缓解长距离依赖问题,通过叠加多个匹配单元来实现句对间的多轮信息交互。结果显示本文提出的模型能够稳定的超过基准方法,特别是在较长句对上取得了显著的提升。2.基于多特征融合的多模态到文本的推理技术研究。现实世界很多场景中,信息是以多种模态的形式传递的,因此本文从文本序列间的推理任务扩展到了多模态到文本的推理任务。多模态到文本推理任务的输入涉及多个序列,并且这些序列分属不同的模态,因此如何有效地融合多个不同模态的序列特征是该任务的主要难点。本文以视频弹幕匹配任务为目标,研究多模态特征融合技术,该任务主要研究如何根据目标视频片段从候选弹幕评论集合中挑选出相关的评论。针对该任务,本文提出了一个基于多模态特征的深度匹配模型,该模型采用与Transformer模型类似的结构,利用自注意力机制来编码输入信息。该模型能够同时编码图像、语音和文本特征;为了增强模态间的信息交互,本文设计了多头交叉注意力机制,同时,使用一个由多个匹配单元堆叠而成的匹配层以迭代的方式对不同模态间的交互进行建模。实验结果证明本章提出的多模态匹配网络显著地超过了现有的基准方法。3.基于未来代价机制增强的文本到文本的生成技术研究。序列间语义关系建模的另一类子任务是文本生成任务。现有的研究通常使用序列到序列的模型来处理这类任务,在训练该模型时,首先利用目标序列每个位置上的预测分布计算交叉熵,然后将所有位置上计算得到的交叉熵进行组合得到最终的目标函数。这种机制只能保证在当前步生成的目标词的准确性,而没有考虑到该预测结果的未来代价,即该词对后续目标翻译（比如下一个目标词）预测的影响。本文以机器翻译这一典型的文本到文本生成任务为研究对象,尝试解决上述问题。具体来说,首先使用当前生成的目标词及其上下文信息来学习对应的未来代价表示,然后使用该表示计算一个额外损失项,以此来指导神经翻译模型的训练。此外,本文还提出了一种机制,将当前步学习到的未来代价表示与下一步的上下文表示融合,以帮助下一个目标词的预测。实验结果表明该方法能够显著的提升Transformer模型的翻译性能。4.基于联合学习的多模态到文本的生成与推理技术研究。本文进一步从文本到文本的生成任务扩展到多模态到文本的生成任务,利用视频弹幕生成来研究多模态到文本的生成技术。视频弹幕生成的目的是自动为视频观众提供感兴趣的评论,由于该任务的生成结果具有很强的灵活性,现有工作基于一个好的生成模型能够正确区分有效评论和错误评论的假设,提出使用排序指标来评价该任务。尽管现有的生成模型在该指标上取得了不错的效果,但是与匹配模型相比,还存在很大的差距。为了提升生成模型区分有效和无效评论的能力,本文基于Transformer模型提出了一个联合模型,该模型通过共享生成模型和匹配模型的编码器,能够同时对视频弹幕生成和匹配进行建模。实验结果表明,通过联合学习,生成模型和匹配模型在自动弹幕评论任务上的性能同时得到了显著提升。