5G作为新一代移动通信系统,在数据传输速率、时延以及频谱效率等一系列性能上都有了显著的提高。而其中,作为能够使5G移动通信容量有效增加的关键技术,把毫米波以及大规模MIMO联合在一起,不仅能够有效地提升频谱效率,更在覆盖范围、系统吞吐量等上展现出极大的潜力。与此同时,预编码技术能够将信号能量着眼于用户,有效地补偿了毫米波信号的传播损耗。另外一些常见的数字预编码方法在硬件方面的耗损比较大,不宜用于对发射天线数等要求更高的大规模MIMO系统之中,所以本课题的研究重点主要是寻找能够在频谱效率等方面得到有效的改善,并对毫米波大规模MIMO系统具有普适性的混合预编码技术。首先简述了本文的选题背景和选题意义,并从单/多用户两个层面概述了混合预编码技术的研究现状。其次叙述了与亳米波大规模MIMO混合预编码技术有关的背景理论知识,先对毫米波的传播特性以及信道模型进行了阐述,接着探究大规模MIMO的系统以及信道模型,而后探讨了预编码技术的分类以及特点,分别对三种预编码方式,即数字、模拟及混合技术做了概述,同时简述了混合预编码的几种结构。然后,本文探讨了一种用于大型天线阵列毫米波系统的单用户预编码算法,该算法利用毫米波信道的空间结构,把预编码器以及接收器的设计问题表述为一个受稀疏约束的信号恢复问题,并利用一种改进的匹配追踪方法对其进行求解。该算法具有较低的硬件复杂度。仿真结果表明该算法性能逼近最优无约束预编码算法,且对于散射环境带来的影响可通过增加射频链个数的方法来降低。最后本文探讨了一种用于大型天线阵列毫米波系统的多用户预编码算法,本文绕过了每个用户的信道估计与量化过程,对信道估计、反馈以及预编码设计问题进行联合处理,将其综合表述为一个分布式源编码问题。而后探讨了一种改进的DNN方法来求解其最优解,并在训练过程中使用了一种改进的SGD方法对DNN进行训练,同时对传统的反向传播算法进行改进,从而更好地计算偏导数。与传统方法相比,本文所探讨的改进DNN方法能够显著减少反馈量。同时本文还探讨了该深度学习架构在不同的系统参数方面的泛化性能,探讨了一种改进的训练方法有效增强了该DNN结构的泛化性能。