时序数据是生活中常见的数据类型。这类数据通常具有动态性,即数据在相邻时刻之间相互关联。同时,数据也具有维度依赖性,即数据在不同维度之间也相互关联。数据中的动态性与维度依赖性,使得对时序数据的建模具有很大挑战性。利用概率模型框架,对时间与空间上的依赖关系进行联合建模是一种有效的解决方法。在概率模型框架中,高斯过程因其形式优雅而被广泛应用,它可以建模数据之间的非线性映射关系。为了解决时序数据建模中的挑战,关于高斯过程动态系统(Gaussian process dynamical system, GPDS)的研究在不断发展。根据模型假设与学习方法,我们将已有的GPDS分为两大类,高斯过程动态模型(Gaussian process dynamical model, GPDM)与变分高斯过程动态系统(variational Gaussian process dynamical system, VGPDS)。本文工作是在已有GPDS的基础上继续深入研究,并且提出更加合理的GPDS模型。首先,我们针对数据丢失问题提出了改进的GPDM,包括对应的模型学习算法与条件模型。GPDM是最近提出的一种成功应用于时序数据分析的模型,它的模型学习算法与条件模型均建立在完全训练数据的前提下。当数据不完全时,GPDM在优化更新参数之前,使用一个关于隐变量的重构函数对数据进行补全,然后使用完全数据下的学习算法进行模型训练。这种处理丢失数据的方法很可能会带来累计误差,所以我们针对不完全数据提出了改进的GPDM。在改进的GPDM中,改进的模型学习算法可以实现在不完全数据下的模型训练,改进的条件模型可以实现对丢失的测试数据的恢复。我们采用贝叶斯学习框架,对丢失数据进行积分,最终得到观测数据的边缘分布。所以改进的GPDM可以合理充分地利用部分已观测的数据。为验证改进的GPDM处理丢失数据的有效性,我们在不完全的运动捕获数据上进行实验,并将改进的GPDM与原GPDM、κ-NN、三次样条插值和VGPDS进行对比。改进的GPDM无论在处理训练数据丢失还是测试数据丢失方面都具有更大优势。其次,我们针对交通流预测问题提出了高阶GPDM。交通流预测是智能交通系统领域的一个重要的任务,它通常使用路口的历史流量信息来预测下一时刻的流量。提出准确高效的交通流预测模型将对智能交通系统的发展具有重要意义。我们将原有的GPDM从一阶模型扩展到更适用于交通流数据的四阶模型。具体地说,四阶GPDM的隐变量是一个四阶马尔科夫高斯过程。当模型训练结束后,为了实现更高效率的预测,我们结合带权值的k-NN来计算测试数据对应的隐变量。最终的预测结果由四阶GPDM与k-NN结合估计得到。对比其他流行方法,新提出的方法性能更优,并且预测准确率有显著性提高。然后,我们结合前面的工作成果,在相似的贝叶斯框架下,提出了变分依赖多输出高斯过程动态系统(variational dependent multi-output Gaussian process dynamical system, VDM-GPDS). VDM-GPDS具有处理复杂动态性的能力,可以更加合理地建模多元时序数据,特别是不同维度观测之间具有依赖关系的序列。与之前的GPDS明显不同的是,该模型假设多个输出之间具有依赖性。我们采用卷积多输出高斯过程来建模输出数据,以构建一种灵活的多输出协方差函数。在学习阶段,我们引入辅助变量,并采用变分推理方法,得到模型的对数似然变分下界。模型参数与变分参数通过使用基于伸缩共轭梯度的算法,最大化该下界得出。我们的模型因其合理的假设与完全贝叶斯的学习框架,在动态系统建模方面更具优势。我们在人工数据与真实数据上与多种方法进行对比实验,实验结果验证了所提模型的有效性。最后,为了使VDM-GPDS更具一般性,使其不仅适用于时序数据分析,同时也适用于静态数据回归,我们将VDM-GPDS调整为变分依赖多输出多层高斯过程回归模型(variational dependent multi-output multi-layer Gaussian process regression model, VDMM-GPRM)。VDMM-GPRM继承了原动态系统的优势,可以处理多输出或多任务的回归问题。在机器人逆动态问题上的实验结果验证了VDMM-GPRM在回归任务上的优势。本文的工作改进与完善了已有的GPDS,并进一步提出了新的建模时序数据的模型,最后将动态与静态数据的处理模型统一为一个框架。不同的实验设定均验证了所提方法的合理性与有效性。