尽管说话人识别系统在识别结果上已经取得了令人满意的结果,但是随着人口规模的不断增大,传统的GMM模型的识别时间也越来越长,识别速度慢将大大限制说话人识别系统的实用性。实验发现,识别阶段测试语音在对GMM模型进行匹配打分的时候,得分较高的说话人模型只有少数的几个,说明这部分说话人模型存在着相似性。如果我们能够通过聚类算法将这部分得分高的模型聚成一类,测试阶段只要找到这个类并搜索其中的类成员就可以找到目标说话人,这种方式缩减了识别的时间。于是,本文基于模型聚类算法对说话人进行识别,在不降低识别性能的同时,提高系统的识别速度。传统的基于K-means和近似KL距离的说话人模型聚类能很大程度提高系统的识别效率。然而通过这种聚类方式获得的识别结果对初始聚类中心比较敏感。基于这点本文提出了一种基于距离矩阵的初始聚类算法,它能根据数据的空间分布特点,合理地进行初始点的选择。在识别的时候,待测语音只需要先与每类的类中心进行似然概率计算然后再与候选类内的目标说话人进行似然概率计算就可以找到相应的目标说话人。将改进后的模型聚类算法应用于基准系统中,系统在保证识别准确率的同时,提高了识别的效率。