随着数据通信与多媒体业务的发展,移动数据、移动计算以及移动多媒体应用的需求日益高涨,加之目前快速发展的移动互联网和物联网,全球范围内移动通信的数据业务量和移动通信设备数量都呈现出爆炸式增长。为了满足如此高的传输速率和连接量,需要在物理层传输技术上有所突破。5G关键技术之一的大规模MIMO(Multiple-Input-Multiple-Output,MIMO)技术可有效解决上述问题。在军事通信中,大规模MIMO也大有用武之地,如战场实时视频传输、复杂战场态势信息传输等。大规模MIMO的高精度空间分辨,精确波束定向特性也为军事通信中的抗干扰、反监听提供了新的研究思路。大规模MIMO通过在基站端配备大量天线,为通信系统带来了巨大增益。与此同时,相比于传统MIMO技术,大规模MIMO技术也面临高维信道状态信息获取困难的巨大挑战。为此,研究者充分利用大规模MIMO信道的低秩特性,创造性地提出两阶段预编码方案。具体地,此方案将下行传输预编码设计分为两阶段,即外层与内层预编码。外层预编码可将高维大规模MIMO信道分解为若干独立的低维等效信道,且其仅依赖于信道协方差,可据此将具有相同信道协方差特性的用户收集到同一用户簇内进行服务,不同用户簇空间相互正交;内层预编码在不同用户簇内并行执行,用于消除特定簇内用户间的干扰。由于用户的协方差矩阵相比于实时信道变化缓慢,使得外层预编码可在较长时间内更新一次。基于外层预编码的实施,内层预编码矩阵计算只需获取用户簇等效低维度实时信道。从而在信道状态信息获取时,对于空间独立的用户簇可采用相同的导频序列,而且用户簇内的低维等效信道获取所需的导频开销和反馈量相比原始大规模MIMO高维信道的获取大大降低。因此,两阶段预编码方法可以有效克服大规模MIMO信道信息获取困难的巨大挑战。截止目前,基于两阶段预编码,国内外众多专家致力于大规模MIMO信道建模、外层预编码设计、用户分簇等方面的研究,同时也取得了很多学术成果,但仍然存在用户调度、协同传输以及时变信道的跟踪预测等方面的缺陷及不足。基于此,本文充分利用大规模MIMO信道空间低秩特性,针对现存问题,采用稀疏贝叶斯学习、图论、组合优化等有效数学工具,探索切实可行的解决方案,充分挖掘基于两阶段预编码的大规模MIMO系统的优势,进而提升大规模MIMO网络同时同频服务用户的能力。本文具体研究的内容和成果如下:(1)针对两阶段预编码中用户簇角度重叠的问题,充分挖掘大规模MIMO信道的空间结构特征,提出两种低开销、低计算复杂度的用户调度策略,以减轻用户角度域重叠对基于两阶段预编码的大规模MIMO网络性能的影响。第一种方法:通过最优基站关联方法减轻用户簇的角度重叠。首先以信漏噪比(Signal to Leakage plus Noise Ratio,SLNR)最大化为目标设计低复杂度用户基站选择算法。此方法需要获取每个用户簇到每个基站的低维等效信道信息,在带来近似最优性能的同时也会引起巨大的信令开销,导致信道资源利用率下降。为避免实时信道获取的巨大开销,进一步对目标SLNR进行期望操作以得到其下界,且此下界仅仅依赖于信道协方差矩阵,从而避免了实时信道状态信息的获取。基于此,提出了一种低复杂度、低信令开销的基站选择算法。数值仿真表明基于SLNR下界的方案可以明显减轻用户簇角度重叠,提高系统和速率,且其性能与基于实时SLNR的算法性能基本相同。第二种方法:通过联合用户簇分组及正交子信道分配降低用户簇的角度重叠。首先需要对用户簇划分为多个分组,使得每个组内用户簇间的角度重叠最小化。同一组内用户簇利用两阶段预编码实现正交传输,而不同组的用户簇调度在时频正交子信道上。为实现最优用户分组,借助图论并以用户空间角度所对应的空间特征正交基为对象,构建用户角度重叠表征图,刻画角度重叠的全网分布状态。进而改进传统Dsatur图染色算法,提出基于图染色理论的用户簇分组方法。仿真结果表明该算法的性能接近穷举搜索下得到的最优分组方案。(2)针对两阶段预编码在多小区大规模MIMO中存在的波束交叉干扰问题,利用小区边缘和小区中心用户簇信道特征的差异,提出一套低开销、高效的多小区大规模MIMO网络协同传输策略。传统多小区协同传输方案都是基于全局信道状态,然而大规模MIMO系统中全局信道状态信息的获取无疑会引起系统无法负担的开销。所以传统多小区协同传输方案无法直接应用于大规模MIMO系统。为此,我们通过将小区中心用户簇和小区边缘用户簇分开处理,针对边缘用户簇和中心用户簇的不同信道特征,分别设计基于干扰对齐和空间复用的协同传输策略,充分挖掘基于两阶段预编码的大规模MIMO网络的空间自由度。首先利用两阶段预编码技术将高维大规模MIMO信道分解为多个并行低维MIMO信道,提出了低维信道下干扰对齐实施方案。此外,为改善多小区系统中角度重叠的问题,在此方案中我们为小区中心用户簇设计了软空间复用策略。最后,联合利用黄金分割搜索算法和注水定理为提出的多小区传输策略设计了最优功率分配算法。通过数值仿真表明提出的基于两阶段预编码和干扰对齐的大规模MIMO网络联合传输策略可以明显提升多小区大规模MIMO系统容量。(3)针对时变大规模MIMO信道协方差矩阵获取困难和特征值分解计算复杂的问题,将信道建模为动态稀疏信号模型,提出基于稀疏贝叶斯理论的模型参数学习算法。首先,考虑上行信道跟踪,通过虚拟信道变换将大规模MIMO时变信道重构为一个稀疏动态信号模型。基于此模型,提出了一种基于期望最大化(Expectation Maximization,EM)算法的稀疏贝叶斯框架来学习模型参数。在期望最大化算法中,为避免高维矩阵求逆,我们采用卡尔曼滤波和后向平滑方法来跟踪稀疏信道的后验统计量。基于得到的后验统计量,设计了一种基于不动点理论及低复杂度的搜索算法分别得到稀疏虚拟信道的时变特征参数和空间稀疏特征参数。即使在FDD系统中,上下行信道的空间角度信息仍然存在互易性,可以直接从已估计出的上行信道模型参数中提取出下行信道模型参数。之后,基于降维卡尔曼滤波,充分利用信道时间相关性来增强上下行虚拟信道非零参数的跟踪精度。最后,设计了一种模型参数监测方案来检测模型参数变化并触发信道模型参数再学习过程。仿真结果表明,该方案收敛速度快,且参数估计的(Mean Square Error,MSE)性能良好。