无线通信网络越来越依靠更多的天线和更密集的基站部署，来满足无线网络容量爆炸性增长的需求，随着无线移动设备的高度普及、机器到机器（M2M）通信技术和云计算技术的应用，高效的空间复用和空间重用技术成为充分利用大量天线和基站的关键。　　本论文系统地研究了下一代无线通信系统中的空间复用和空间重用的主要方面，包括多用户调度算法、信道估计机制和信道状态信息反馈机制。对空间复用的研究涵盖传统的天线数有限的MIMO和天线数很多的Massive MIMO。对空间重用的研究覆盖单层宏小区网络和宏小区与毫微微小区共存的网络。本论文对系统容量、功率效率和安全性方面进行了深入研究。　　本论文从如下方面开展工作：　　（1）传统MIMO系统中的多用户调度和信道状态信息（CSI）反馈　　在多小区上行系统中，针对传统的以接收机为中心的调度设计仅能利用信号信道中的衰落。本研究提出以发射机为中心的调度策略来更好地利用多用户分集（MUD）。在该视角下，发射机（用户）发射信号污染的受害基站的集合是固定的，从而便于预测用户传输所产生的污染功率。结合信号功率，可基于信号与泄漏加噪声比（SLNR）准则来调度用户。因此，该策略不仅利用信号信道的衰落，还利用干扰信道的衰落，使系统吞吐量获得较大提高。　　传统MIMO系统中，以低的反馈开销获取准确的CSI对系统性能至关重要。本论文提出一种新颖的基于时域的CSI反馈机制。该机制利用多用户系统中单个用户仅对部分子信道有较强偏好，且信道在时域仅有少数散射路径较强这两方面特点。可仅反馈信道脉冲响应（CIR）中部分信道抽头的时延和幅度，使由之重建得到的信道频率响应在用户感兴趣的子信道上更准确。因此，该方法能以低开销实现高的反馈效率。　　（2）Massive MIMO系统中的多用户调度　　当天线数变得极大时，信号信道发生“硬化”（即，波动较小），这可能表明针对信号信道的用户调度将无法获得MUD增益。为确定Massive MIMO系统中能否获得MUD增益，本论文对多用户调度下的系统吞吐量进行理论分析。利用顺序统计论，分析了在最大SLNR准则下的被调度用户的信号和产生的泄漏的强度分布，并得到调度后SINR的分布。推导出的信号和泄漏的分布表明，尽管信号信道发生“硬化”，由于泄漏信道具有显著的波动，仍然可获得显著的MUD增益。　　（3）宏小区-毫微微小区共存网络中的多用户调度　　为抑制跨层干扰，对被调度的宏小区用户（MU）产生强干扰的毫微微基站FBS不能重用频谱。这一保护MU的措施将形成很多散落在宏小区覆盖范围内的以被调度MU为中心的保护区。为提高毫微微层的吞吐量，本论文引入地理位置指标到Massive MIMO的用户调度中。通过调度彼此相距不远的MU，从而使得保护区在空间上重叠，为毫微微小区提供更多的频谱空间重用机会。本方法在略微牺牲宏小区层吞吐量的前提下能显著提升毫微微层的吞吐量。　　（4）宏小区-毫微微小区共存网络中的系统协调　　现有研究通常从局部，利用信道状态感知和对干扰的认知进行机会空间重用。但由于缺乏协调，不确定的层内和层间干扰限制了系统的性能，增加了网络中的功率开销。本文将毫微微小区看作一个整体，从宏观的角度，利用随机几何学理论对它们的行为整体形成的干扰进行研究，并用一般随机序理论做了近似分析。通过对毫微微小区层和宏小区层的干扰和吞吐量间的相互关系建模，可进行空间重用决策优化。该决策利用有限的信息交互实现频谱空间重用的动态协调，提高宏小区-毫微微小区共存网络的功率效率。