论文部分内容阅读
时序数据是现实世界中一种常见的数据类型,它是由一系列具有时间关系的数据点组成。时序数据通常是多维的,而且维度之间相互关联,不同维度对应于多输出模型中的不同输出。高斯过程动态系统(GPDS)是一种建模时序数据的概率模型,它利用高斯过程建模数据点之间的关系,而且已经在单视角任务中取得了良好的性能。随着大数据应用的快速发展,越来越多的数据呈现出多视角特性。由于多视角学习能够有效地利用视角间的一致信息和互补信息,多视角学习通常比单视角学习更加有效。因此,本文主要研究多视角高斯过程动态系统,提出具有更强建模能力的协同高斯过程动态系统(CGPDS)以及能够处理多视角时序数据的多视角协同高斯过程动态系统(McGPDS)。首先,为了更好地刻画时序数据中不同维度间的相关性,同时允许模型处理高维时序数据,本文提出CGPDS。作为一种多输出GPDS,CGPDS假设每个输出为全局潜变量和局部潜变量的求和。全局潜变量可以建模多输出之间的共同信息和相关性。局部潜变量可以刻画每个输出特有的信息。CGPDS使用变分推理方法且引入辅助变量对模型进行推理。由于多输出之间的条件独立性假设,CGPDS的变分下界可以在维度上分解,从而允许在维度上使用随机优化学习参数,因而CGPDS能够应用于高维时序数据。我们在三个真实数据集上验证CGPDS的有效性,实验证实CGPDS在生成时序数据和重构缺失时序数据的任务上性能优于最先进的高斯过程动态系统。其次,为了使CGPDS能够处理多视角时序数据,本文更进一步地提出McGPDS。作为一种新颖的分层多视角模型,McGPDS充分利用多视角数据的特性和CGPDS模型的优势。McGPDS假设每个视角的私有潜变量由其动态先验分布和共享潜变量共同确定。由于多了一层从共享潜变量到私有潜变量的映射,一方面,McGPDS获得更深的模型结构,能够建模更加灵活和复杂的映射;另一方面,McGPDS明确地建模私有潜变量和共享潜变量之间的相关性,而且具体的相关程度可以通过优化获得。我们在三个多视角数据集上验证McGPDS的有效性,实验证实McGPDS在学习潜空间表示和生成视角数据的任务上性能优于最先进的多视角高斯过程动态系统。综上,本文所提出的McGPDS能够有效处理多视角时序数据。在建模时序数据方面,McGPDS是基于新提出的CGPDS。在单视角与多视角时序数据上的实验结果分别验证了所提出CGPDS与McGPDS的有效性与合理性。