互联网技术的快速发展积累了大量的信息数据,其中包括体现内在关联关系的序列数据。如何挖掘序列数据关联关系并对未来进行预测,是推动人工智能发展和社会智能化的一项重要研究工作。在序列数据建模过程中,通常会遇到许多难题,如序列数据的稀疏性、时序长程依赖挖掘的困难性以及长序列信息传递推理问题等。针对这些存在的问题与挑战,本文对序列建模问题进行了深入研究,提出了一系列面向序列数据的深度建模方法,克服了传统序列建模中存在的序列间隔忽略和信息推理能力缺乏等问题。本文研究的动机是通过利用辅助信息对深度序列模型进行结构改造,以构造更合理的深度序列模型,从而运用到实际应用场景中,提升模型的预测推荐能力。具体来说,本文的主要工作可以总结为如下几个方面:针对普遍存在的序列稀疏性问题,提出了一种组合架构的长短时记忆网络模型。具体而言,在商业广告推荐领域,提出利用长短时记忆网络来分别对如下两种序列进行关联关系挖掘:反映全局关联的用户-查询语句-广告的三元关系序列(全局的长短时记忆模型)和反映局部依赖查询语句序列(局部的长短时记忆模型),以将用户的查询意图嵌入到连续向量空间,并进一步将其解码来刻画不同类型广告的概率分布,从而进行广告排序推荐。更进一步地,该方法将全局和局部的模型巧妙地结合起来构成更具鲁棒性的组合长短时记忆模型,以提高广告推荐效果。针对普遍存在的序列间隔信息忽略问题,提出了一种时空嵌入的长短时记忆网络模型。该模型指出序列节点间的间隔(如时间间隔和空间间隔等)对序列建模的重要性,并提出使用嵌入学习的方法将地点预测问题中的时间间隔以及空间间隔离散后嵌入,并将其与长短时记忆网络中的门结构有机结合在一起,一方面引入时空信息对序列的影响,一方面通过时空信息引导门机制的功能学习,缓解序列稀疏性。在此基础之上,又提出了层次架构的深度网络,来对历史序列进行层次建模,从对历史序列信息的学习中来提升对未来序列的预测性能。提出了一种基于时空嵌入的生成对抗网络(ST-GAN)模型。该模型在序列生成对抗网络的基础上,提出了时空嵌入式长短时记忆生成模型(ST-LSTM)和时空嵌入式卷积神经网络判别模型(ST-CNN),其中ST-LSTM利用时空信息来引导LSTM训练门机制,而ST-CNN则利用时空信息来增强判别访问序列真伪的能力。此外,ST-GAN的训练优化机制使得模型能够生成更多与真实数据分布相似的数据来引导模型学习,从而得到更好的预测效果。针对长程信息记忆利用及推理问题,提出了一种基于多轮跨模态注意力机制的记忆网络模型。众所周知,注意力机制能够辅助深度模型更好地找到与问题相关的事实依据。在视觉问答对话任务中,多数方法通常仅仅使用单轮注意力机制来检索关于问题的实时依据。然而,存在于对话任务中的信息传递现象使得单轮注意力机制不能很好地发挥作用。针对信息传递现象,本文提出了一种基于多轮注意力机制的记忆网络模型。在该模型中,先提出一种基于注意力机制记忆网络来分别对图像视觉信息和对话文本信息来进行有效编码存储,并将所需回答的问题同时投射到视觉记忆网络和文本记忆网络来检索多模态事实依据;然后提出一种多轮注意力机制架构来构建问题与两类记忆网络之间的多轮交互关系,从而解决存在于其中的信息传递及推理问题。本文基于从不同领域产生的真实序列数据对所提方法进行了实验验证,实验结果均证明了所提方法在实际应用场景中的有效性。