矢量量化是一种有效的有损压缩技术，广泛应用于图像和语音压缩领域，其最突出的优点在于解码算法简单。人工蚁群优化是一种全新的智能搜索算法，人工蚂蚁通过概率选择和信息素更新来模拟自然界中真实蚂蚁的觅食行为。目前蚁群算法在旅行商问题和车辆路径问题等组合优化问题中的应用较为成熟，在矢量量化图像压缩编码中的应用才刚刚起步。码书设计是矢量量化图像压缩编码的关键环节，蚁群算法应用于码书设计值得进一步深入研究。 本文首先介绍了蚁群算法的原理以及基于人工蚁群算法的矢量量化图像压缩编码码书设计建模。针对基本蚁群算法的主要缺陷，如收敛速度慢和易于陷入局部最优，本文提出了一种新的信息素更新方法，即对属于不同性能聚类中心的训练矢量之间增加不同的信息素增量，实验结果表明新的信息素更新方法使峰值信噪比(PSNR)提高了0.16dB。将蚁群算法和遗传算法相结合，提出了遗传蚂蚁码书设计算法，即在蚁群算法中嵌套遗传算子，首先通过概率选择产生的码书作为遗传算法的初始种群，通过选择、交叉及变异算子产生新的码书以后更新信息素。实验结果表明，对于256×2568bit的标准Lenna图，码书长度为256时，遗传蚂蚁码书设计算法所获得的PSNR为29.89dB，比单纯蚁群算法码书设计算法提高了0.3dB。