大规模多输入多输出(MIMO)技术是下一代无线通信网络的核心技术之一。该技术通过在基站端部署大规模天线阵列,使基站端天线数量远大于小区中用户数量,从而实现基站非合作情况下相邻小区间的干扰抑制,提高系统的频谱效率和能量效率。但是在大规模MIMO的实际部署中,却存在多种非理想条件的制约,主要包括:1)由时分双工系统信道估计方式带来的信道状态信息(CSI)误差;2)实际网络环境中用户间信道相关性的影响;3)系统硬件条件的制约等。为分析以上非理想条件对大规模MIMO系统性能的影响,并通过抑制以上非理想条件来提升大规模MIMO系统性能,本文在以下四个方面进行了研究:首先对多小区MIMO系统信道非理想因素建模,建立了能够综合描述多种非理想因素的CSI误差模型;其次根据CSI误差模型,深入分析了CSI误差对大规模MIMO系统性能的影响,得到了可达速率的解析表达式,并提出了模块化预编码方案以降低基带信号处理复杂度;然后将大规模MIMO技术应用在平流层通信中,根据平流层信道相关性的特点,分析了平流层大规模MIMO的系统容量;最后提出了用户端波束成形算法,抑制多小区大规模MIMO导频干扰,提升了系统可达速率。本文主要贡献如下:1.多小区MIMO系统信道非理想因素建模建立了多小区MIMO系统中CSI误差综合模型,模型包括了以下三种因素的作用:1)导频信道中相邻小区干扰引起的估计误差;2)导频信道中噪声引起的估计误差;3)导频发送延迟引起的延迟误差。其中,为精确描述导频信道中干扰信号功率的概率分布,扩展了现有的干扰源随机场景干扰建模方法,充分考虑了导频信道中干扰源的位置分布特性和信道中的阴影衰落,推导出导频信道中干扰信号功率概率分布的闭式解。在此基础上,进一步在模型中加入导频信道噪声引起的估计误差和延迟误差,并考虑了导频同步发送与异步发送等多种场景,建立了能够同时描述三种因素综合作用的CSI误差模型,提升了模型精度。所建立的CSI误差模型为后续的大规模MIMO系统性能分析以及干扰抑制算法设计提供了理论依据。2.基于CSI误差综合模型的多小区大规模MIMO性能分析采用CSI误差综合模型,分析了大规模MIMO系统的可达速率,分别采用迫零和最大比合并两种预编码方法,得到了大规模MIMO系统可达速率闭式解。和现有的大规模MIMO系统性能分析资料相比,本文考虑的信道非理想因素更为全面,更符合实际物理环境,更精准地描述了大规模MIMO系统在实际环境中的性能,为大规模MIMO基站组网提供理论依据。进一步地,由于大规模MIMO系统基带信号处理复杂度高,本文提出了基于迫零的模块化预编码方法,使基带信号处理在各个模块间并行运行,降低了运算复杂度,缩短了基带处理时间。3.平流层大规模MIMO系统容量分析将大规模MIMO技术应用于平流层通信中并进行系统容量分析,以解决传统平流层通信中的旁瓣干扰、小区重叠、用户跟踪困难等问题。大规模MIMO技术能够降低用户间的信道相关性,提升平流层通信系统容量。根据用户位置将平流层平台覆盖区域内的用户划分为分散接入用户与热点区域用户,并采用随机几何工具分析得到了平流层大规模MIMO分散接入用户容量的闭式表达式。对于热点区域用户,利用大规模MIMO信道特性给出了用户间信道相关性与用户位置关系的近似表达式与其上界,研究了用户位置对热点区域容量的影响。仿真结果表明,大规模MIMO技术能有效降低热点区域用户间信道相关性,在不同的用户位置模型下,采用大规模MIMO技术均能有效提高热点区域容量。分析得到了平台扰动对平流层大规模MIMO系统性能的影响,给出了平台扰动和静止两种情况下热点区域用户信干噪比期望比值的解析表达式,验证了平流层大规模MIMO技术对于平台扰动的鲁棒性。4.大规模MIMO用户端波束成形设计为抑制导频信道干扰、提升多小区大规模MIMO系统CSI精度,从而提高系统可达速率,提出用户端波束成形算法,根据用户端到不同基站相关性矩阵的差异来抑制相邻小区基站间的干扰。在波束成形过程中,用户端最大化各自的信号-导频污染功率比(Signal-to-Pilot contamination Ratio,SPR)。由于SPR最大化问题对于各用户端是完全解耦的,且用户端只需要局部的信道状态信息来计算各自的波束成形矢量,因此波束成形过程是完全分布式的。所提算法既适用于地面蜂窝通信系统,也适用于平流层大规模MIMO系统。与其他大规模MIMO导频干扰抑制算法相比,所提算法具有信息交互量低、基站处理复杂度低、适用范围广、无需增加额外反馈等优势。在地面和平流层两种信道环境下的仿真结果都验证了所提方法的干扰抑制能力。