随着自主在轨服务技术的发展，应用小型航天器对空间中失控的目标航天器进行在轨营救与维修，将会成为未来在轨服务技术发展的一个重要方向。在这一自主在轨服务任务中，需要服务航天器与失控目标自主交会对接，之后，相应的在轨服务操作才能展开，而与失控目标自主交会对接的相对位置和姿态耦合控制问题，则是亟待解决的关键技术。本论文针对应用小卫星作为在轨服务航天器对失控目标进行近距离操作的耦合控制问题，深入研究了服务航天器与失控目标自主交会对接的相对位置和姿态耦合控制算法。本论文主要包括以下内容：分析了失控目标在空间中的运动情况，并针对失控目标处于最复杂的运动情况(也是最普遍的运动情况)，提出了一种在轨服务航天器与失控目标自主交会对接的控制策略。根据失控目标的转动惯量的特性，将失控目标的运动分为无章动运动和存在章动运动两种情况。并根据失控目标的转动角速度矢量方向与对接端口方向之间的几何位置关系，又将这两种情况下的运动分别分为三类。其中，失控目标的最复杂运动情况为存在章动运动，并且其转动角速度矢量方向与对接端口方向既不平行也不垂直。针对这种情况提出的控制策略可有效避免在轨服务航天器在逼近过程中与失控目标的局部碰撞。取相对位置和相对姿态四元数的矢部为系统状态，考虑推力器安装所产生的相对位置和姿态耦合(即控制输入耦合)，建立了以系统状态的二阶形式描述的服务航天器对失控目标的相对位置和姿态耦合动力学模型。分析了相对位置和姿态耦合控制系统的控制目标，并根据相对位置的跟踪指令分析了相对位置跟踪耦合(即控制指令耦合)。针对在轨服务航天器与失控目标自主交会对接的耦合控制问题，考虑未知有界干扰因素，提出了一种基于前馈-反馈的相对位置和姿态耦合控制算法。通过应用李雅普诺夫稳定性理论证明了该基于前馈-反馈的相对位姿耦合控制算法对未知有界干扰具有鲁棒性，并通过数学仿真验证了此耦合控制算法的有效性与鲁棒性。该基于前馈-反馈的相对位姿耦合控制算法机理简单，易于实现，可靠性高，但不足之处是没有从理论上证明其对系统不确定性的鲁棒性。为了增强耦合控制系统的鲁棒性，考虑未知有界干扰、系统不确定性和测量噪声的因素，提出了三种基于滑模的相对位置和姿态耦合控制算法。分析了滑模面的收敛特性，并通过数学仿真验证了这三种滑模耦合控制算法的有效性与鲁棒性。与基于前馈-反馈的相对位姿耦合控制算法相比，这三种滑模耦合控制算法都具有更好的控制精度和鲁棒性。其中，传统滑模耦合控制算法的相对距离和位置的过渡过程中有一次小幅值振荡，而双滑模耦合控制算法不仅具有较高的控制精度，而且还具有较好的过渡过程。为了使耦合控制系统具有更好的控制性能，考虑未知有界干扰、系统不确定性和测量噪声的因素，提出了一种基于复合控制的相对位置和姿态耦合控制算法。分析了积分滑模在存在控制饱和与测量噪声时的特性，并通过数学仿真验证了该复合耦合控制算法的有效性与鲁棒性。该复合耦合控制算法在具有较好的控制精度与鲁棒性的同时，也具有很平稳的过渡过程。为使耦合控制系统在具有鲁棒性的同时也具有一定的最优性，考虑未知有界干扰、系统不确定性和测量噪声的因素，提出了两种基于最优滑模的相对位置和姿态耦合控制算法。这两种最优滑模耦合控制算法可以在控制精度和能量消耗之间进行平衡，通过数学仿真验证了这两种最优滑模耦合控制算法有效性与鲁棒性，并对文中设计的各种相对位置和姿态耦合控制算法在控制过程中所消耗的能量进行了比较。