对柔性物体自动操作研究对涉及国计民生的关键领域,如工业、医疗、服务业等,均有重要意义。然而,柔性物体的物理特性非常复杂,与外界交互时的实时形变难以预测和控制,目前对柔性物体的研究还很不成熟。并且,由于在实际应用中,柔性物体的物理模型难以预先精确获取。如何在保证控制精度的前提下,提高控制算法对建模误差的鲁棒性,是实现高精度柔性物体操作自动化的关键问题。本文将视觉引入柔性物体的操作控制中,一方面利用视觉实时监测柔性物体形变和机械臂操作,并利用基于图像的视觉伺服方法控制机械臂运动,提高控制精度;另一方面利用视觉估计模型或模型参数,减弱控制算法对精确模型的依赖性。针对不改变柔性物体拓扑结构的操作和改变柔性物体拓扑结构的操作,本文分别设计相应的柔性物体形变轨迹控制器和柔性物体切割控制器并进行了稳定性分析。本文提出的柔性物体形变轨迹控制器利用未标定固定相机系统对未知柔性物体的形变进行监测,根据柔性物体表面特征点运动的视觉测量值,控制机械臂对柔性物体进行变形操作,使得物体按期望轨迹形变;同时,根据物体表面特征的视觉测量值,在线估计未知相机参数以及柔性物体形变模型。本文提出的柔性物体切割控制器,利用已标定固定相机系统对未知材料参数的柔性物体形变以及切割道具的运动进行实时监测,并在线估计未知材料参数。基于形变模型在线预测柔性物体形变、规划切割轨迹,利用视觉控制切割刀具的运动,使其以固定切割深度沿时变的期望轨迹进行切割,并且实现最小形变。本文搭建柔性物体形变实验平台和柔性物体切割实验平台,分别对所提柔性物体形变轨迹控制器和柔性物体切割控制器进行实验。实验结果验证了所提算法的有效性和稳定性。