为了解决有限的无线资源及不断增长的业务需求之间的矛盾,能够大大提高系统容量的多入多出(MIMO, Multiple-Input Multiple-Output)技术近年来受到了广泛关注。但是在多天线蜂窝系统中,小区间干扰(ICI, Inter-Cell Interference)严重影响了MIMO对系统性能的改善。基站协作(BSC, Base Station Coordination)作为3GPP LTE(3rd Generation Partnership Project Long Term Evolution)的关键技术,以及协作通信的重要分支,可以在复杂的无线通信环境下,有效地抑制ICI,改善系统的频谱效率。然而,基站协作在标准化和实用化的道路上仍然面临着很多问题与挑战。因此,设计低复杂度高性能的基站协作系统结构,以及研究公平有效的干扰抑制技术是重要的研究课题。基站协作具有在地理位置上分散的天线,相对于传统MIMO具有很多潜在优势,然而也为其实现带来很多阻碍。首先面临的问题是如何对协作基站进行选择,来保证以尽可能低的复杂度实现系统性能的整体优化;其次,为了抑制ICI,协作基站之间往往需要交换大量信息,对基站间链路造成严重负担;另外,上下行链路采用的干扰抑制技术本身存在复杂度或空间自由度等制约条件。本文针对上述问题进行了深入研究,从基站协作的容量及潜在优势入手,着重研究了协作分簇算法、上行链路的协作检测以及下行链路协作发送算法。这些算法有效地抑制了ICI,提高了频谱效率,同时对改善用户公平性、降低系统复杂度、减小链路开销具有积极意义。本文主要研究了以下几个方面:第一,对ICI及基站协作模型的研究。首先,给出了多小区环境中ICI模型,干扰矩阵的数学求解,以及MIMO的干扰受限性能。ICI不可以简单近似为高斯白噪声,并且严重影响了MIMO性能的提升。现有的ICI抑制算法很难再取得新的进展,可以考虑把它们与基站间基于网络的协作算法相结合。然后,研究了基站协作的Wyner模型,并给出了基站协作性能的信息论分析结果,从而得到理论上的极限容量。最后,从功率增益、空间相关性、信道秩和奇异值分布等方面讨论了基站协作相对于传统MIMO具有的潜在优势,从根本上分析了基站协作产生容量增益的原因。这些工作有助于对基站协作基本原理的深刻理解,对后文的研究具有一定指导意义和参考价值。第二,对协作基站的选择及分簇算法的研究。如果令系统中的所有基站全部参与协作,所需的开销将难以承受。因此,需要选择一部分基站进行协作。针对现有的静态分簇和动态分簇策略的各自优缺点,提出了一种改进的静态分簇协作策略。以上行链路为例,在静态分簇的基础上,根据簇间协作距离,将每个簇的用户分为簇内用户和簇间用户。对簇内用户采用迫零线性接收算法,抑制簇内多用户间的干扰。对簇间用户采用扩展的迫零接收与连续干扰消除相结合的方法,对簇间干扰进行抑制。相对于静态分簇,改进的策略改善了分簇边缘用户的性能,提高了系统频谱效率,用户公平性更好。相对于动态分簇,两者性能相近,然而改进的策略在分簇的过程中不需要利用贪婪算法,大大降低了复杂度。第三,对上行链路协作检测算法的研究。为了减少基站间链路大量的数据交换开销,降低集中式协作检测中央单元的信号处理复杂度,研究了分布式协作检测算法。为了进一步减小开销,提出了基于用户分组的分布式协作检测算法。根据本地用户信道增益与所有用户信道增益之和的比值设定一个门限,将用户分为两组。对高于门限的用户采用单小区处理,并进行干扰重构。分离了较强用户信号的干扰之后,对低于门限的用户采用低复杂度延时分布式连续检测(LCD-DSD, Low Complexity Delayed-Distributive Successive Detection)进行协作检测。通过对强弱用户信号的区分以及采用不同的处理方式,达到有效的干扰抑制目的。仿真表明,当门限Th≈0.9时,协作检测的用户数大约减小了一半,却获得了与全部用户进行协作检测相近的性能,大大降低了链路负担及信号处理复杂度。第四,对下行链路协作发送算法的研究。通过对几种协作预编码性能的验证,得知联合发送块对角化(JT-BD, Joint Transmission-Block Diagonalization)预编码是一种性能优良的算法,可以有效地抑制ICI。针对线性预编码算法固有的发射天线数目的制约条件,提出了基于基站协作JT-BD的两种低复杂度次最优的用户和天线联合选择算法。当系统中用户数较少,比如满足预编码约束条件时,可以只采用接收天线选择去掉一些对容量贡献较小的天线,同时减小对其他用户的干扰,提高系统和容量。当系统中用户数较多时,采用提出的联合选择算法,在选择彼此间干扰较小的用户,从而最大化系统容量的基础上,在性能下降不多的同时,降低移动终端的硬件复杂度。另外,相对于没有进行天线选择且具有同等数目接收天线的用户,仍然能获得很好性能增益。