论文部分内容阅读
近年来,卷积神经网络在很多领域都取得了显著的成功,尤其是在图像识别领域,其准确率已十分接近甚至超过相关专家的水平。然而,卷积神经网络的工作机制至今仍然没有一个合理严谨的解释,它对专家而言仍是一个让人无法理解的“黑盒子”。训练出一个好的模型往往是一个反复试验的过程,这需要耗费大量的时间和计算机资源。为了加速训练过程,减少试验次数,专家需要了解训练过程中发生了什么,然而现在主流的机器学习框架虽然提供了可视化工具帮助用户分析,但只提供很少的一部分信息,并且无法进一步探索,这远远无法满足部分专家的分析需求。卷积神经网络通常是由几十层甚至上百层的隐含层组成,而每一层隐含层是由几十个乃至几百个滤波器构成。即便卷积神经网络具有共享权重的特性,但是其内部独立的权重参数仍然有几十万乃至上百万之多,而随着迭代的进行这其中的权重参数也会随时进行更新,单纯的观察数值无异于天方夜谭。可视分析是辅助用户理解这类复杂的数值问题的有效手段,相较于传统的数值分析方法,不仅更加直观易懂,而且对用户的专业性要求也更低。通过建立多层次探索交互的可视化分析框架,帮助用户探索卷积神经网络中滤波器的演变规律,理解各个隐含层中滤波器在卷积神经网络中扮演的角色,辅助用户找到卷积神经网络在训练过程中出现的异常现象,并分析其产生原因,从而进一步优化网络结构参数并调整训练方法。本文提出一种通过评价卷积神经网络各个层级的训练质量来高效探索卷积神经网络隐含层的方法,并引入可视化技术对卷积神经网络训练日志数据进行多层级的深入分析。本文主要的研究内容和贡献如下:提出从网络层到隐含层,从隐含层到滤波器的可视化探索流程,设计多个直观易懂并具有丰富视觉编码的视图,帮助分析人员直观高效地发现训练过程中产生的异常情况并能进一步探索其异常产生的原因。研究卷积神经网络隐含层的评价方法,考虑到卷积神经网络中滤波器能够独立识别特征的数量是衡量该层隐含层识别特征模式能力的重要指标,通过统计计算滤波器的困惑度频数分布来评价隐含层的训练质量。研究滤波器的多维度可视感知方法,多视角展示用户感兴趣的滤波器,通过分析比较不同滤波器间的距离,设计多个可视化视图辅助用户快速定位发现异常滤波器。设计并开发了一个集成的可视分析系统,通过多层级可视化视图、丰富的多图联动技术能在优化网络结构,辅助参数设置,探索异常原因等方面为用户提供指导。