在人类生活中,根据环境变化不断学习新知识是一个重要的过程。对于智能交互系统来说,这就要求其具有通过交互自我学习的能力。另一方面,在人类感知、学习的过程中,不断把新知识融合进已学到的旧知识中也是一个重要的过程。实际上,在当前领域,知识关联和视觉识别还未得到十分有效的结合。对于智能交互系统来说,一个自动学习新知识并系统组织旧知识的学习机制具有重要意义。在人机交互的过程中,手持物体进行交互是一个常见并且直观的方式,所以手持物体识别是人机交互领域一个非常值得研究的任务。本文的研究就基于手持物体识别系统。本文提出了一个基于支撑向量机的混合增量学习算法。该算法可以通过添加新的分界面来学习新类别,通过调整已学分界面学习旧类别的新实例。此外,本文还给出了一个适用于智能交互系统的学习框架,在自动学习新知识的同时,也利用知识图谱系统有效的组织已学到的视觉概念。混合增量学习算法通过学习旧类别的新实例来增强知识图谱已有节点的识别能力,通过学习新类别为知识图谱增加新的节点和关系。混合增量学习算法使得新知识可以通过知识图谱中的节点和关系进行传播,使相关联的其他分类器也可以同时学习传递过来的新知识,形成一个涟漪效应。本文在两个不同的数据集上验证了算法和框架的有效性,实验证明该算法能够在已有模型的基础上继续学习,提升分类性能;同时该框架能够使已学知识相互关联,使学习过程更加全面有效。