MIMO（Multiple Inputs Multiple Outputs）中继技术是未来移动通信系统的关键技术，为实现广域覆盖及提高系统容量提供了有效方案。而各节点的信号处理方式是制约中继传输的主要因素，波束成形作为能有效提升系统频谱效率的技术被应用到中继系统中。本论文针对MIMO中继系统，重点研究MIMO中继波束成形以及功率分配技术，结合优化理论，提出满足性能要求的MIMO中继系统波束成形及功率分配设计方案。本文首先对已有最优的单用户多跳MIMO中继系统的波束成形方案进行了详细介绍和性能仿真。利用优化理论，给出了功率限制条件下优化设计源波束成形矩阵（以下均称源矩阵）和中继波束成形矩阵（以下均称中继矩阵）的统一结构，其功率分配可由类似注水的算法得到。其次，仿真比较了以上所述算法（优化目标函数为最大化互信息）与一种天线选择算法的性能。最后，介绍了一种基于QoS（Quality-of-Service，QoS）的设计源和中继矩阵与功率分配的方案。以上研究均是针对单用户MIMO中继系统，而在实际中，一个中继需服务多个用户。论文接下来针对多用户MIMO中继系统的波束成形和功率分配技术进行了研究，提出了两种以最大化和速率为目标的设计源和中继矩阵的算法。首先提出了一种迭代算法，该算法分别对和速率函数求源矩阵以及中继矩阵的偏导，然后再利用梯度算法迭代地联合搜索出最优的源和中继矩阵；其次，为了降低复杂度，提出了一种更简便的基于等效信道的交替算法，该算法还利用了最大化信泄比的准则设计源矩阵。仿真结果表明采用这两种算法相对于传统算法和速率性能有所提升。功率约束下的性能优化问题是以上研究的重点。然而，在某些具有一定服务质量需求的无线通信系统中，满足预定的性能指标远比满足功率约束更为重要。因此，本文提出了一种在多用户MIMO中继系统中的交替算法，该算法使得各用户在满足各自给定的信干比（Signal to Interference Ratio，SIR）需求的同时最大化系统的和速率。此算法是在中继（或源）矩阵固定的前提下，交替地优化源（或中继）矩阵，直到和速率收敛。理论分析表明所提源矩阵的设计复杂度较低并且源矩阵有闭式解。仿真结果表明所提算法能满足各用户的SIR需求并且在高信噪比的情形下有更好的和速率性能。