新型的网络架构和大规模密集化技术均具有潜力满足下一代移动通信的发展需求。相比传统MIMO系统,分布式MIMO系统作为未来无线接入网络的一种新结构,其容量和覆盖性都能得到较大程度的提升；两种较为典型的密集化技术为大规模MIMO技术和密集化部署的small cell技术。本文围绕多小区多用户分布式MIMO技术和基于大规模MIMO和small cell的密集化网络部署技术展开研究,主要针对多用户分布式MIMO系统的容量,多小区分布式MIMO系统中的预编码方案的设计,以及新的分层异构MIMO系统架构的设计和性能进行了研究。首先,本文对移动通信系统中MIMO技术进行了总结；简述了大规模MIMO和small cell技术的特点、优势和面临的挑战；细述了分布式MIMO的信道模型,并讨论了MU-MIMO系统中的典型线性预编码技术。其次,本文在考虑大尺度衰落的情况下,对下行多用户分布式MIMO系统容量进行了研究。分析了分布式MIMO理论信道容量；给出了一种基于空间相关阴影衰落的分布式MIMO信道建模方法；理论推导了不同功率分配方式下的系统下行容量,仿真比较了不同功率分配方式下采用不同线性预编码方案的CAS和DAS的系统性能,同时讨论了用户数对系统性能的影响。仿真结果验证了提出的信道模型的可行性,并表明DAS能够更好地对抗大尺度衰落；在发射端采用注水算法比等功率分配法能够获得更好的系统性能；相比与ZFBF,采用MMSE预编码方案的系统其性能得到了提升,尤其在低信噪比下更为明显。再次,本文研究了下行多小区分布式MIMO系统的容量。基于多小区系统中典型的发射端干扰消除抑制技术,给出了单小区模式和多小区协作模式下预编码的设计方法(SC-ZF和JT-ZF);提出了一种基于等效信道的预编码方案(EH-ZF);同时推导了不同功率分配方式下三种预编码方案的系统和速率的表达式；对不同预编码方案下系统性能进行了详细的仿真。仿真结果表明,相比与SC-ZF,EH-ZF使多小区分布式MIMO系统的中断容量和抗同频干扰性能得到一定程度上的提升；相比与JT-ZF,其在实际的无线传输中的可实现性也明显提高。最后,本文研究了分层异构网络架构的MIMO系统方案,该架构有机地结合了大规模MIMO和密集化部署的small cell技术。针对该新型二层架构系统在TDD和R-TDD的多用户和多小区场景下的容量域进行了研究,并基于本地信道信息和TDD系统的信道互易性给出了基于RZF和ZFBF的预编码设计方案(M-RZF和MZF),该类方案可通过调节预编码参数来使得系统的整体性能达到最佳。仿真结果表明,当采用提出的预编码方案时,该新型二层架构系统中所有的BS和SCA之间在无需任何形式的CSI和用户数据交换的情况下就可获得非常可观的容量提升。