在无线通信系统中，为了实现更大范围的覆盖和更高的数据传输速率，各小区均采用全频率复用。然而，全频率复用导致相邻小区使用同样频率资源的用户彼此间产生较大干扰，降低了用户服务质量，严重影响系统的性能。因此，小区间干扰抑制技术是多小区系统研究的关键技术之一。为了实现小区间干扰抑制，多小区的基站可以通过相互协调或协作的方式来消除或降低相邻小区的干扰。其中，协作波束成形技术是多小区协作传输的一种典型方法。协作基站之间根据共享的信道状态信息，寻找合理的信号处理和编码技术以达到理想的协作增益。由于实际系统中，基站获得的是存在未知误差的非理想信道信息，针对不同的信道误差模型，设计鲁棒的波束成形算法是多小区协作传输的一个关键研究内容。本文根据不同的通信场景，深入研究多小区理想与非理想信道条件下协作传输的波束成形算法。　　在理想信道条件下，表征两小区的多输入单输出（MISO）干扰信道的可达速率界的Pareto界能够通过线性波束成形算法实现。达到Pareto界的最优波束成形向量是迫零波束成形和最大比传输波束成形向量的线性组合。基于Pareto界，本文研究每个基站功率约束条件下的信漏噪比最大化问题，给出了一种分布式的波束成形算法。基站仅利用本地的信道状态信息，通过一系列的分析与转化，推导出一种实数参量化算法。该实数参量化算法可以从两小区扩展到多小区MISO干扰信道的场景。仿真结果表明：本文的分布式参量化算法是Pareto最优的；与已有文献提出的迭代算法相比较，该算法具有更低的算法复杂度。　　在非理想信道条件下，本文针对多小区MISO系统设计鲁棒的预编码算法。假设在多小区MISO系统中，协作基站仅共享信道状态信息，研究有界误差存在条件下的最坏情况的性能优化问题。在多小区MISO干扰信道中，把有基站功率约束的加权总均方误差最小化问题作为优化目标，提出了一种分布式预编码方法。通过重新描述均方误差的上确界并采用Lagrangian方法获得了优化问题的最优解。仿真结果表明，该鲁棒性算法保证了最坏情况的总速率性能，与已有的基于信干噪比的算法相比，具有更低的计算复杂度。　　在此基础上，本文研究了多小区MISO干扰广播信道中最坏情况的性能优化问题。基于泄漏准则，总均方误差最小化问题可以改写成一系列子问题，其中每个子问题均可转化成仅利用本地信道状态信息的半正定规划问题，提出了一种分布式的预编码方法。在此基础上，通过修正均方误差，引入小区间泄漏项代替传统的均方误差中的小区间干扰，构造了最小化最大均方误差优化问题的分布式解法。仿真结果表明，对于每个用户而言，小区间泄漏与小区间干扰相当，误比特率性能验证了该分布式预编码的鲁棒性。　　在非理想信道条件下，本文针对多小区多输入多输出（MIMO）干扰信道，研究了鲁棒的收发机设计方法。首先，考虑信道状态信息存在有界误差的情况，本文设计了鲁棒的波束成形算法。在基站发送单流数据的情况下，考虑基站功率约束的最大化最小信干噪比，设计基于用户公平性的波束成形算法。首先提出了一种块对角化辅助的鲁棒波束成形算法（BDA算法）。利用块对角化预编码简化初始的优化问题，然后推导出了一种交替优化的迭代算法求解简化后的优化问题，并分析了BDA算法的收敛性和计算复杂度。通过仿真验证了BDA算法的收敛性，并从误码率和最小信干噪比角度展示了该设计方案的鲁棒性。由于BDA算法要求每个基站发送天线的数目都不小于所有用户天线数目的总和，其应用场景受到限制。通过把非凸的最大化最小信干噪比问题转化成存在线性矩阵不等式约束的优化问题，设计了一种广义的鲁棒波束成形算法。由于转化后的问题包括两组变量，本文采用交替优化方式把该问题变成凸优化问题，从而得到一种迭代优化算法。针对该算法的分析发现，最小信干噪比效用函数随迭代次数单调增加且收敛到某个局部最优解。　　另一方面，针对信道状态信息存在统计误差的多小区MIMO干扰信道，本文分别基于用户公平性和系统总均方误差性能设计鲁棒的波束成形算法。基于用户公平性，本文考虑信道不匹配的条件和基站功率约束，把最小信干噪比最大化作为优化目标，设计鲁棒的波束成形算法。根据交替优化方案，首先固定发送波束成形向量，将最大最小公平性问题转化成一系列平行的子问题；固定接收端波束成形向量，将最大最小问题转化成二阶锥规划问题。这样就形成了一种自适应的交替优化算法。通过仿真验证了该算法的收敛性，并通过仿真误比特率性能展示了算法的鲁棒性。基于系统总均方误差性能，把存在基站功率约束的总均方误差最小化作为优化目标，推导出了一种鲁棒的迭代算法，其最优的接收波束成形等价于最小均方误差接收；而最优的发送预编码矩阵可以通过Lagrangian方法获得分布式表达式。