随着社会信息化程度的不断提高,当前的第四代移动通信系统已经无法满足人们对高速率、高容量的进一步需求。为了满足未来十年不断增长的用户需要,同时尽可能提供无处不在的链接请求,学术界和工业界已经加快了对下一代通信系统即第五代移动通信系统(the fifth generation mobile communication systems,5G)的研究。大规模多输入多输出(multiple input multiple output,MIMO)和中继协作技术由于能显著提升系统的频谱效率(spectral efficiency,SE),因此被认为是5G的核心技术。尽管大规模MIMO技术能抑制系统的加性噪声、用户间干扰,同时能够有效节省信源的发射功率等。然而,仍有许多问题亟待得到解决。为此,针对大规模MIMO和中继协作技术的关键特性,本文针对不同大规模MIMO中继协作方案分别进行了不同方面的研究,具体研究内容如下:首先,针对大规模MIMO技术所产生的巨大能量损失问题,基于最大比结合/最大比传输(maximum ratio combining/maximal ratio transmission,MRC/MRT)和迫零接收/迫零传输(zero forcing reception/zero forcing transmission,ZFR/ZFT)两种线性预处理方案,论文提出了基于低分辨率模数转换(analog to digital converters,ADCs)的全双工大规模MIMO放大转发中继协作方案。论文得到了系统总SE的闭式解,然后分别进行了三种不同功率缩放方案的渐近分析。研究表明,低分辨率ADCs量化给ZFR/ZFT比MRC/MRT更大的性能损失。特别地,当且仅当系统的信源发射功率固定、基站的发射功率与基站发射天线数量成反比时,系统才能同时抑制环路干扰和量化误差。其次,尽管低分辨率ADCs技术能够显著提升大规模MIMO中继系统的能量效率,然而最新的研究表明,当在高信号与干扰加噪声比(signal to interference plus noise ratio,SIINR)时,低分辨率ADCs将会给系统带来相位/频率同步和多用户检测误差等问题。此外,近年来由于量子计算机、超级计算机的出现给系统的物理层安全带来了严峻的考验。不同于传统的密钥加密方式,信息论表明其还可以通过使用系统信道的噪声及量化误差来提升系统的安全性能。为此,论文研究了混合ADCs的大规模MIMO中继协作方案,并对系统进行了最优化的性能设计。论文首先获得了系统的SE和安全中断速率,然后根据构建的能量消耗模型,又获得了系统的安全能量效率(secrecy energy efficiency,SEE)。研究结果表明,当用中分辨率ADCs代替高分辨率ADCs时,在不影响系统各态历经速率的条件下,能够有效地改善系统的SEE;且当SEE最大时,存在最优的信源发射功率。同时,中分辨率天线数M0和低分辨率天线数M1的比例也是影响系统性能的重要参数。最后,为了进一步提升系统的SE和能量效率,同时有效地改善小区边缘用户的服务质量,论文研究了两层大规模MIMO中继协作异构网络(heterogeneous networks,Het Nets),其中宏小区被稠密的小小区所覆盖,且宏小区基站配置大规模地天线阵列。宏小区基站主要用于用户的调度和资源的分配,其要满足高移动性用户的需求,而稠密的小小区基站则主要是为低移动性的用户提供较高Qo S的链路请求。假定基站采用MRC/MRT和ZFR/ZFT预处理方案,论文首先获得了目标小区中用户对SINR和功率放大因子的闭式解,然后通过采用随机几何理论,又获得了系统SE的闭式解。研究表明,只有当小小区半径小于宏小区保护半径时,才能得到最优的系统性能;而对于宏小区的保护半径则存在最优的下限,即仅当宏小区半径小于最优下限时,增大宏小区半径才有助于提高系统的SE。