随着机器人控制技术和图像识别技术的快速发展，基于手势识别的视觉机器人主从控制技术越来越受到人们的关注，在脱离键盘、鼠标、红外、蓝牙遥控，或者脱离可穿戴设备的前提下，如何能够准确、高效的控制机器人作业；如何能够简洁、高效率的传输控制信息，显得十分必要。由于手势控制具有并行性，在短时间里，一个手势能够传达较多的信息和语义，通过手势来控制机器人，不仅可以提高交互的效率，同时能够减轻繁杂的通信设备，具有重要的现实意义。由于手势在不同的背景，不同的时间，或者在不同的人做手势的前提下，手势图像往往具有平移、旋转、缩放，错切等特点，如何能够在复杂背景下提取出手势图像，并对手势信息进行提取和快速的识别，是本文主要研究的内容。基于几何特征的手势识别模型往往速度很快，但是对手势有一定的要求，而极半径矩模型的特点很好适应手势变化的基本特点要求，但是极半径矩不能够适用于非等比例伸缩的手势。因此，如何对手势进行分类，然后结合这两种模型的优势，对一定的手势进行快速识别，是本文主要研究的核心。首先在HSV空间根据皮肤的颜色分布找到手势图像轮廓，基于几何特征和极半径模型利用手势自身的特点，根据手势特点找到手势的中心，并对手指进行划分，在图形学上大致确定手势的分类，同时对该手势进行基于轮廓的极半径中心距信息提取。然后对几何特征信息和极半径的分类信息进行权重分类，使得结果更加精准。最后在全自主仿人智能机器人平台上进行试验，对不同的手势，不同人的同一个手势，不同背景下的手势等进行试验，试验结果验证，本文提出的基于几何特征的和基于极半径矩结合的模型能够准确的对手势图像进行分类和识别。同时在时间响应上速度较快，能够满足机器人控制的实时性能的要求。