论文部分内容阅读
随着数据采集和存储技术的飞速发展,多视图数据大量涌现。多视图数据从不同视角去刻画同一物体,因此其能反映同一物体的不同特性。虽然多视图数据能够提供比传统单视图数据更为丰富的信息,但是如何有效分析多视图数据一直以来是一个研究难点也是热点。多视图数据往往存在于高维空间中,且不同视图之间存在相关性,因此,有效地学习多视图数据中潜在的低维嵌入对于提升学习模型的性能、同时降低学习算法的复杂度至关重要。本文以多视图数据为研究对象,深入研究多视图嵌入学习的相关技术,结合哈希技术,探讨有关方法在大规模视觉检索、图像分类、自动标注等任务中的应用。本文的主要研究成果及贡献如下:(1)提出了半配对离散哈希方法(SPDH)。目前大部分的跨视图哈希学习方法假定不同视图间的样本配对信息是完整的,然而这种假设在现实场景下一般不成立。本文研究一种更为常见也更具挑战性的的半配对跨视图检索问题,即存在部分样本的配对信息未知。提出的半配对离散哈希方法(SPDH)能够挖掘公共子空间的潜在结构,并且对齐配对以及未配对样本。通过选取一些锚点对,构建一种跨视图的近邻图来刻画半配对数据的相似性结构。最后给出一种基于矩阵分解的哈希编码方式。考虑哈希码的离散属性,提出了一种循环坐标迭代的方法来求解哈希码,其中每一个比特都存在封闭解。在大量全配对和半配对设置的实验上验证了SPDH在大规模跨视图检索中的有效性。(2)提出了多视图离散哈希方法(MvDH)。如何充分从多个视图中挖掘出丰富的信息用于生成优质的哈希码是一个亟待解决的问题。提出的多视图离散哈希方法(MvDH)通过矩阵分解技术对多视图数据进行分解,生成的哈希码可以视作多个视图共享的潜在特征;同时采用谱聚类生成聚类标签。MvDH联合学习哈希码和聚类标签,并且建立两者之间的一致性关系,从而确保哈希码具有强有力的鉴别性。采用离散优化的方式求解提出的模型,算法能够保证收敛且计算复杂度较低。在大量的视觉检索实验上验证了 MVDH在性能和可扩展性方面的优势。(3)提出了联合嵌入(CoE)和联合哈希(CoH)多标记学习方法。目前大部分嵌入方法无法很好地捕捉多标记学习中特征与标记之间的相关性,导致预测性能的下降。为了解决上述问题,首先提出一种联合嵌入学习算法(CoE)。CoE将特征和标记视作两个不同的视图,将标记预测问题转化成跨视图搜索问题,其能降低传统编码解码策略的算法复杂度。为了提升搜索的质量,引入跨视图学习的思想,联合学习投影向量和潜在的公共子空间,同时保持住该空间内嵌入的相似性结构,使得相似的嵌入具有相近的标签。在CoE基础上,对嵌入引入二值约束,提出联合哈希学习算法(CoH),其目标是学习一个公共的汉明空间。由于汉明距离计算的高效性,CoH能够进一步提升多标记预测的效率。大量的实验验证了CoE和CoH在多标记预测效率以及效果上的有效性。(4)提出了基于图嵌入的多重集典型相关分析框架(GbMCC-DR)和基于标签传播的半监督典型相关分析方法(LPbSCCA)。基于多重集典型相关分析(MCCA)的一种等价形式,使用图结构的形式对相关性进行统一的刻画,并且提出了基于图嵌入的多重集典型相关分析框架(GbMCC-DR)。针对监督场景,在GbMCC-DR框架下,通过引入三种新的监督图,提出了三种新的监督型相关分析方法。同时理论分析证明此框架能够统一一些现有的方法,如MCCA、PLS、LPCCA、GCCA。针对半监督场景,提出了一种基于标签传播的半监督典型相关分析方法(LPbSCCA)。首先利用稀疏表示使用标记样本的标签信息去估计未标记样本的标签,然后构建概率标签下的视图内类内散度以及视图间的相关性,最后通过最小化类内散度同时最大化相关性来构建模型。在人脸和手写体数据集上的实验验证了提出的方法在监督和半监督情景下的有效性。