深度卷积神经网络中反馈机制的计算建模及应用研究

来源 :中国科学技术大学 | 被引量 : 0次 | 上传用户:connielihui
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
当前,随着人工智能技术的不断发展,深度人工神经网络被广泛应用于人类社会的各个领域。特别地,前馈型深度卷积神经网络(CNNs)在各种计算机视觉任务上已经取得了巨大成功。然而,随着应用需求的不断增加,视觉处理任务复杂度不断提高,依靠简单前馈方式工作的卷积神经网络开始满足不了人们的需求,探索更加类似人类视觉系统的新一代视觉信息处理神经网络显得迫在眉睫。来自认知神经科学的研究表明,人类的视觉系统由大量的前馈连接、反馈连接和侧向连接构成,而反馈连接和侧向连接的数量远远大于前馈连接。因此,基于前馈网络构建有效的反馈机制具有重要的研究价值。本文受人类视皮质层反馈机制的启发,对深度卷积神经网络中如何构建反馈机制进行了深入的研究,提出了有效的反馈机制计算模型和运行框架,充分扩展了深度卷积神经网络的功能,并成功运用于多项计算视觉任务中。本文的主要研究工作和贡献归纳如下:1.在深度卷积神经网络中,针对反馈机制的构建问题,本文在理论上提出了有效的反馈机制计算模型。在面向目标识别的深度卷积神经网络中,本文给出了反馈机制的具体数学定义,并将反馈机制建模成一个优化问题,确定了反馈机制工作运行的基本框架。2.针对提出的反馈优化问题,本文提出了基于梯度下降法的求解算法,在卷积神经网络中成功构建了一种有效的反馈机制,实现了对人类视觉系统中选择性注意机制的建模。在大规模数据集上的实验结果验证了反馈模型能够有效定位到感兴趣目标并能有效提升模型识别能力。3.针对提出的反馈优化问题,本文进一步提出两种基于贪心策略的求解算法。本文分析了由两种不同算法导出的反馈机制在功能上的差异,提出一个基于神经元筛选和神经元视觉信息恢复的反馈卷积神经网络新框架。在多个代表性数据集上的实验结果验证了反馈机制在弱监督目标定位与分割任务上的有效性,同时也为深度卷积神经网络的工作原理提供了可视化的解释。4.为了探索更加类似人类视觉系统的信息处理机制,本文最后提出了在深度卷积神经网络中构建结合反馈调节信息的新型侧抑制计算模型。基于该模型将任务导向的选择性目标注意和响应导向的显著性目标检测统一到了一个分类卷积神经网络模型中,大规模数据集上的实验结果验证了所提出模型的有效性。总结起来,本文在深度卷积神经网络中将反馈机制建模成了一个优化问题,并提出了三种不同的求解方法。在成功构建反馈连接的基础上,进一步提出了基于反馈与侧抑制机制联合建模的视觉注意模型。本文通过大量的实验详细分析了带有反馈机制的卷积神经网络,结果显示本文所提出反馈机制计算模型极大地增加了深度卷积神经网络的灵活性,充分扩展了其功能和应用范围。本文的研究工作为实现脑科学研究领域的概念提供了一个新的视角,是探索更高级智能视觉系统的一次重要尝试。
其他文献
随着我国社会的不断发展,机关工作所反映出的活动以及真实记录的各类档案信息已成为推动机关事业发展的助推器。作为机关工作的重要组成部分,档案管理在机关工作中的重要性也
目的了解广西食品中甜蜜素的使用情况,为今后开展监管工作提供依据。方法 2006~2009年从广西12个食品化学污染物监测市县的超市、农贸市场及食品摊点等采集碳酸饮料、果汁饮料