ART2网络是基于自适应谐振机制的无监督运行的神经网络，由于其快速响应、实时学习等特点，被广泛的应用在各类实时聚类问题中。ART2网络是基于人类的认知规律而构建起来的，具有非常强的学习能力，尤其对新类的学习，因此具有很大的研究价值。本文首先在对ART2网络的运行机理做了详细的研究基础上，针对其存在的模式漂移、幅值信息丢失和警戒参数设置难等问题分别提出了改进方法，通过模拟实验证明了各改进方法的有效性，使ART2网络的综合性能得到很大提升。本文第二部分工作是对认知理论中的记忆遗忘和转化机理进行了深入的研究，并将其应用到ART2网络中。本文定义了综合记忆强度(CMS)概念，用于记录ART2网络各模式当前的记忆量，并在网络不断地学习中调整此CMS值。通过设置合理的CMS阈值则可以使ART2网络具有对新类别进行检出的能力。同时，结合人类辨别事物的规律-越熟悉的事物回忆速度越快，本文提出了基于CMS值的获胜模式选取方法。通过将当前CMS值最高的模式作为获胜模式，降低了网络整体的运行复杂度。基于上述两部分研究，ART2网络的性能得到提升且功能得到完善。为了处理大量与时间相关的分类问题，本文对时间集成神经网络(TANN)进行了深入的研究，并在前文研究的基础上，构建了一种基于TANN和ART2的深度学习系统(TANN-ART2)。它不仅保留了原始时序数据中的时序信息，解决了传统神经网难以处理时序数据的问题，还能在学习过程中，从大量连续的时序数据中发现新出现的类别，使网络表现出强大的学习能力和自修正能力,具有很大的应用和研究价值。最后，本文将TANN-ART2深度学习系统应用在关键词检索工作上进行测试，得到了71.5%的检出率和56.1%的误识率，并从集合中检测出若干个新出现的且出现频率较高的词语，证明了TANN-ART2深度学习系统具有较强的时序数据分类和新类检出的功能。