在毫米波大规模MIMO系统中,不同于传统的数字预编码所需射频链成本和能耗过高而难以实现,与模拟预编码相结合的混合预编码通过引入移相器成为更实用的方案。然而,混合预编码中模拟域无法调节信号的幅度,使模拟预编码矩阵受限于恒模约束。在这样的非凸约束条件下,混合预编码的优化问题是难以直接求解的。本文对毫米波MIMO系统中的混合预编码优化方案进行分析求解,以最大化系统频谱效率为首要目标,同时兼顾计算复杂度,主要研究内容如下:对于子连接结构的单用户大规模MIMO通信系统,提出了一种利用矩阵分解优化的高效节能混合预编码算法。该算法的思路是将总体优化问题分为两个阶段求解,即先固定数字预编码矩阵,求解模拟预编码矩阵,然后根据得到的模拟预编码矩阵对数字预编码矩阵进行优化。在第一阶段,根据模拟预编码矩阵的独立子矩阵结构将优化问题分解为一系列子问题。在得到优化的模拟预编码矩阵后,用最小均方误差（MMSE）方法很容易求解数字预编码矩阵。最后,对其归一化以满足前面忽略的功率约束条件。仿真结果表明,该算法的性能可以达到子连接结构下全数字预编码频谱效率的96%左右,明显优于现有算法。此外,本文还给出了实际中无法完全准确获得信道状态信息（CSI）时算法性能的仿真结果。仿真结果表明,当信道状态信息的估计精度为0.8时,所提算法的频谱效率可以达到完美CSI下最优数字预编码性能的93%左右。即使信道估计准确度下降到0.6,算法所能达到的频谱效率依然维持在完美CSI条件下的92%左右。考虑到应用更为广泛的多用户大规模MIMO通信系统,本文利用奇异值分解的思想,结合有效消除用户间干扰的迫零（ZF）算法设计了混合预编码方案。该方案以全数字迫零预编码矩阵作为无约束最优预编码矩阵的标准,对其奇异值分解,有效地得到保留了无约束模拟相位信息下满足约束的模拟预编码矩阵。然后根据得到的近似最优的模拟预编码矩阵,利用等效信道的思想,使用经典ZF预编码算法得到对应的数字预编码矩阵。经过理论分析,该算法是可以推广到子连接结构以及多用户多天线MIMO系统的。仿真结果表明,该算法的频谱效率近似等同于全数字ZF预编码算法,且明显优于现有的奇异值分解混合预编码方案。除此之外,该算法在射频链数大于数据流时,性能有15%左右的明显提升。在实际中信道估计存在误差,无法获得完美的信道状态信息时,算法性能依然具有一定的鲁棒性。