智能终端设备和移动互联网的飞速发展,对无线通信技术提出更高的传输质量与系统容量的需求。由于毫米波的频谱资源更为丰富,毫米波通信成为无线通信领域的研究热点。大规模MIMO和波束成形技术能有效弥补毫米波的巨大路径损耗,成为了毫米波通信的关键技术。全数字波束成形由于成本高、能耗大等特点,难以应用于毫米波通信。混合波束成形结合了数字域和模拟域的波束成形,能有效减少射频链路数,降低系统的复杂度,成为毫米波通信的重要研究方向。混合块对角化波束成形能很好地消除用户间干扰,实现多数据流并行传输,有效提高系统容量。该算法通常利用奇异值分解得到并行子信道,能够有效地消除多用户干扰。不过由于奇异值分解得到奇异值分布较为分散,并行子信道的信道增益差距较大,不能较好地保证系统的数据流公平性。混合多流分集波束成形在混合块对角化的基础上,通过对数据流进行单独处理,能够减小并行子信道增益之间的差异,保证了系统的数据流公平性。本文主要工作和成果如下:1.研究了毫米波多用户大规模MIMO系统中混合块对角化波束成形和基于SVD的混合多流分集波束成形。介绍了两种算法在模拟域和数字域的波束成形设计方案,说明两种算法均能实现多数据流的并行传输。在混合多流分集波束成形的基础上提出两种低复杂度的混合多流分集波束成形算法,在降低计算复杂度的同时改善了系统性能。2.分析比较了混合块对角化波束成形和混合多流分集波束成形的系统容量,证明了混合多流分集波束成形能较好地保证系统的数据流公平性,从而有效提高系统容量。仿真了毫米波多用户大规模MIMO系统下混合块对角化波束成形、混合多流分集波束成形以及低复杂度的混合多流分集波束成形,对算法的误码率、系统容量和计算复杂度进行分析。3.研究了多用户大规模MIMO-OFDM系统中混合块对角化波束成形和基于ZF的混合多流分集波束成形。介绍了基于OFDM的混合块对角化波束成形算法,提出一种基于OFDM的混合多流分集波束成形算法;分析比较了两种算法的系统容量,证明了多用户大规模MIMO-OFDM系统中混合多流分集波束成形能更好地保证系统的数据流公平性,提高系统容量,改善系统传输性能。