毫米波通信技术更大的带宽与大规模MIMO技术更高的频谱效率能够带来系统吞吐率的数量级增长,使得毫米波大规模MIMO无线传输技术成为5G通信系统中最具潜力的关键技术之一。然而,大规模天线阵列的应用使得系统的硬件实现成本、能量消耗和计算复杂度大幅提高。因此,在毫米波大规模MIMO系统中,如何在系统可承受的开销范围内设计性能良好、复杂度低的预编码算法是一个具有挑战性的课题。本文围绕多用户毫米波大规模MIMO系统的混合预编码算法展开了研究工作,主要包括以下几个方面:1)研究了毫米波信道及毫米波大规模MIMO系统架构。首先,结合毫米波路径损耗大、有限散射的传输特性,分别对窄带毫米波信道和宽带毫米波信道模型进行了调研。随后讨论了毫米波大规模MIMO系统的混合预编码架构,对部分连接结构和全连接结构进行了对比和分析。2)基于窄带毫米波大规模MIMO系统研究了多用户混合预编码设计。在波束训练阶段,首先提出了基于隔点扫描的波束训练方案,降低了波束训练开销;随后提出了基于选择概率的波束训练方案,提高了波束训练的灵活性。为避免用户之间的波束冲突,将波束分配问题转换为多目标双层优化问题,即在不发生波束冲突且满足服务质量(Quality of Service,QoS)的用户数目最大的前提下,最大化满足QoS的用户的等效信道增益。针对以上多目标双层优化问题,提出了一种QoS约束的多用户波束分配算法,有效解决了波束冲突问题并提高了系统的频谱效率。3)基于宽带毫米波大规模MIMO系统提出了一种低复杂度的多用户混合预编码设计方案。该方案以最大化系统频谱效率为设计目标,引入净频谱效率作为桥梁,将模拟预编码设计与数字预编码设计解耦,从而大幅减低了计算复杂度。在模拟预编码阶段,为避免波束冲突并最大化系统净频谱效率,提出了一种基于匈牙利算法的波束分配方法;在数字预编码阶段,对每个子载波的等效信道矩阵进行对角化,消除了多用户干扰。最后通过仿真验证了方案的有效性。