论文部分内容阅读
深度神经网络在图像识别与检测,自然语言处理,生物信息表示等多个领域取得了关键性的突破和优越的性能,使得它受到工业界与学术界的共同关注。然而,现有的深度网络普遍具有“黑盒”问题,即用户无法理解甚至信任网络所作出的决策,这限制了它的发展和应用。与深度网络相比,概率模型得益于对观测数据的先验知识以及生成过程的概率化建模,模型参数具有明确的实际意义,具备良好的可解释性,而这些特性也正是实际系统所亟需的。因此,本论文致力于将概率模型应用于不同的实际场景,针对不同问题构建多种结构的概率深度模型,并重点研究概率动态模型及扩展。此外,本论文还针对概率深度模型提出精准且快速的推理方法,并与深度网络结合,在具备可解释性的前提下提高模型性能。主要内容概括如下:1.概率深度模型被广泛用于文档分析中,以提取语义信息并获得描述性主题。为了得到可分且多样的主题表示,我们首先提出了深度多样的隐狄利克雷分配模型（deep diverse latent Dirichlet allocation,DDLDA）,一个通过引入共享主题来减少通用词和无意义的词影响,进而产生更有意义的语义主题的深层主题模型。此外,我们还开发了针对DDLDA的变分推理网络,这帮助我们使用最大余量原理这一分类标准,将DDLDA进一步扩展为称有监督的深层主题模型,并称之为最大间隔深度多样的隐狄利克雷分配模型（max-margin deep diverse latent Dirichlet allocation,mmDDLDA）。与DDLDA相比,mmDDLDA可以发现更具有区别性的主题表示形式。实验结果表明,DDLDA和mmDDLDA在发现高区分性的主题表示并实现高精度文本分类方面比现有的非监督和监督主题模型更有效。2.递归神经网络（recurrent neural network,RNN）作为最常见的时序模型,它在所有时刻输入之间共享相同的参数,这使得它忽略了不同时刻输入之间的非平稳的时序关系,进而难以解决复杂多样的时间序列建模问题。鉴于此,我们给出了带有高斯混合模型的张量循环神经网络（tensor recurrent neural network with Gaussian mixture,GmTRNN）,并应用于HRRP特征建模与识别任务。GmTRNN不仅可以建模时序特征,而且还可以对时刻之间变化的不同模式进行建模。此外,为了利用非参贝叶斯的方法处理概率混合模型中未知数量的混合组分,我们进一步提出了带有狄利克雷混合过程的张量循环神经网络（tensor recurrent neural network with Dirichlet process mixture,DPmTRNN）。为了将聚类过程和识别识别过程联合训练,我们提出了有效的混合在线变分推理和随机梯度下降方法。在基准数据,实测和模拟的HRRP数据上进行的实验证明了我们模型的有效性和高效性,以及对HRRP平移敏感性的鲁棒性。3.为了更好地分析顺序观察到的多元和复杂计数数据,我们提出了一种称为开关泊松伽玛动态系统（switching Poisson gamma dynamical systems,SPGDS）的开关概率动态模型。与以前的模型不同,SPGDS将其隐变量设置为服从混合伽玛分布的参数,以对复杂序列进行建模并描述非线性的动态特性,同时捕获多样的时序相关性。为了保证模型高效地推理,我们开发了可扩展的随机梯度-马尔科夫链蒙特卡罗（stochastic gradient Markov Chain Monte Carlo,SG-MCMC）和开关循环变分自编码网络联合推理方法,该推理可处理大规模计数序列,并且对新数据可以快速进行预测。在无监督任务和有监督任务上的实验表明,所提出的模型不仅对复杂的动态序列具有出色的拟合和预测性能,而且还可以分离其中的不同动态模式。4.为了建模时间序列中的双向时序相关性,我们提出了双向深层泊松伽马动态系统（bidirectional deep Poisson gamma dynamical system,bi-DPGDS）,并应用于HRRP特征提取与目标识别。所提的bi-DPGDS是一个双向的概率深度动态模型,它利用层次化的伽马分布构建深层时序结构。为了进行高效地推理和库外样本的快速测试,我们通过引入一个可以融合双向的时序关系的双向循环变分推理网络,将bi-DPGDS扩展为双向循环伽马置信网络（bidirectional recurrent gamma belief network,bi-rGBN）。另外,我们通过将SG-MCMC和变分推理方法融合,提出了一个联合贝叶斯推理方案。此外,针对有监督学习,我们进一步提出了具有注意力机制的 bi-rGBN（attention bi-rGBN,attn-bi-rGBN）。在实测 HRRP 数据上的实验结果证明了我们的方法在分类和生成任务上的有效性和高效性,以及它在HRRP平移敏感性和数据量变化上的鲁棒性。5.将动态-卷积结构融入概率建模,我们提出了卷积泊松伽马动态系统（convolutional Poisson gamma dynamical systems,conv-PGDS）,并应用于文本建模。conv-PGDS通过单词级卷积捕获短语级主题,而句子级的转移则捕获主题在连续句子间的转移与演变方式,最终将文档中所有句子的主题比例分布作为文档特征表示进行汇总。为了同时考虑前向与后向的时序信息传输,我们进一步开发了双向卷积泊松伽马动态系统（bidirectional Poisson gamma dynamical systems,bi-conv-PGDS）,以合并完整的上下文信息来表示每个句子。为了进行有效的推理,我们构建了一个双向卷积循环推理网络,该网络同时提供句子级和文档级的表示,并引入了一种混合贝叶斯推理方案,该方案将SG-MCMC和编码变分推理进行了有效的融合。在各种文档语料库上的实验结果表明,所提出的模型可以提取表征能力更强的多级潜在表示,并在具有存储和计算效率的条件下实现了目前最优的文档分类性能。