机器人作为一门交叉领域,随着计算机、机械、电子等技术的发展,其科研成果已在制造业、医疗康复、水下作业、航空航天以及军事等很多领域广为应用。在与机器人的互动与协作中,人们越来越希望机器人能像人类一样掌握各种操作技巧,并自如地运用这些技巧帮助人们完成生产、生活中的各类任务。这不仅能将人们从一些简单、重复和危险的工作解放出来,而且能够提供更加直接而丰富的人机交互模式。然而,这样的机器人往往是一种典型的高度非线性、强耦合的动力学系统,在完成各种任务的时候,其非线性动力学特性十分显著,并且实际存在的各种复杂不确定性和扰动也严重影响着机器人系统的控制品质,因此,机器人的控制往往需要专业人士设计控制器,以适应不同的任务。而这将导致,非专业人士很难实现机器人的控制。除此以外,机器人的编程和调试往往需要用到各种精密的实验设备,这使得在一般民用环境下,很难用常见设备来控制机器人执行任务。因此,本论文希望构建一种框架,可以用简单的视觉设备使得机器人能够理解动态场景,并基于对动态场景的理解,通过示教的方式学习人类的控制策略,以最终实现对机器人的智能控制。本课题研究内容主要包含三个方面:1.动态场景的理解。机器人可以通过一个常用的RGB摄像头,就完成对动态场景的语义信息和空间信息的捕捉。这一点决定了机器人可以仅通过二维图像信息就能够解析不同的物体或者背景分属于图像的哪块像素区域;同时,可通过二维的图像信息就能够重建出像素所对应的深度信息,以获得所处理场景的空间立体信息。而通过语义和深度信息的综合,就可以很容易通过视频流来获取目标物体在空间中的运动轨迹。从而让机器人通过非接触的演示或者通过视频就可以完成示教过程,使得示教的便利性和安全性得到保证。2.机械臂的示教学习控制。通过视频流转化的三维轨迹样本,可以进而用于对机器人进行轨迹学习的示教。示教学习使得机器人能够在非结构化的环境下表现出更灵活并适应环境的复现能力,因而在为机器人任务编程中被越来越广泛的使用。示教学习的泛化能力更是相比于传统的编程方式更有优势。而在点到点的示教学习学习轨迹时,往往会存在稳定性和轨迹精度的矛盾,这点在学习复杂轨迹的时候尤为明显。为了解决这样的矛盾,使得机器人能够学习到精准的控制策略的同时,还能保证收敛到目标点,就需要对原有的示教学习算法框架上进行改进,以使其能够完成这个目标。3.移动平衡车的示教学习控制。机械臂的控制相对而言拥有较高的自由度,因此便于通过视觉进行示教。而为了保证通过让机器人理解动态场景从而示教的框架更具通用性,需要研究约束更多的机器人的示教学习问题。移动平衡车本身具有非完整性约束和欠驱动约束,因而需要建立一种带约束的示教学习框架,才能机器人在满足约束的条件下学会人类通过视觉示教的策略。而在这种情况下,移动平衡车走过的轨迹,也需要尽可能地克服准确度与稳定性之间的矛盾,也就是尽可能学会人类控制策略的情况下,保证收敛到目标终点。