遥操作系统是一种实时人机交互方式,能够扩展人类活动范围并帮助人类在复杂危险环境下完成任务,因此具有极大的理论研究意义。然而一方面人体手臂与多关节机械臂的物理结构存在差异,操作者通常需穿戴传感器设备或操纵摇杆进行遥操作,这影响操作者自然舒展的遥操作机械臂。另一方面遥操作系统的网络传输通道中不可避免的存在时延和丢包现象,这给遥操作带来了很大障碍。通过视觉遥操作使人体自然地遥操作多关节机械臂,并保证带有时延和丢包的遥操作系统具有良好的控制性能,是本文主要的研究内容。首先,研究了人机姿态一致的视觉遥操作。人机姿态统一的视觉遥操作系统可实现机械臂跟随人体手臂动作并保持姿态一致。基于深度学习中的卷积神经网络,设计了多级结构的视觉遥操作网络用以学习人体手臂信息到机械臂关节角之间的强非线性映射。提出了一种新的人机姿态一致映射方法,将该映射方法封装编程作为数据集生成器,批量生成人机姿态一致的数据集。基于该数据集,使用神经网络训练框架搭建并训练该视觉遥操作网络。然后,针对遥操作系统网络通讯中存在的时延和丢包现象,采用考虑事件触发策略和量化方法的的模型预测控制补偿时延和丢包带来的影响并节约通讯带宽。设计的预测控制器根据过去系统状态量和控制量预测未来时刻控制量,用于补偿时延和丢包给网络化控制系统带来的影响。设计了基于状态观测器的事件触发传输机制降低了数据包的发送频率,采用任意区域量化器对控制量和状态量实时量化减少了数据包的大小。网络化控制系统在预测控制补偿网络丢包和时延的同时,量化方法和事件触发策略减少网络通讯带宽。最后采用“zoom”策略和李雅普诺夫函数证明了网络化系统的稳定性。最后,搭建了视觉遥操作实验平台。通过Azure Kinect传感器采集人体信息,编写Socket程序实现网络通讯,使用ROS控制多关节机械臂,并在Gazebo中仿真。采用视觉遥操作网络评估实验和机器人实验以验证视觉遥操作框架的有效性。