为了满足人们对通信网络系统容量与日俱增的需求,现有的无线通信工作频段已经非常拥挤,开辟新的波长更短的频谱资源,是未来5G的一个研究领域。毫米波在高频频段拥有着非常丰富的资源,因此在频谱资源极度紧张的今天,毫米波通信非常具有吸引力。然而毫米波系统天线数量多、设备开销大,与其相关的技术都面临着巨大的挑战。本文主要研究毫米波混合预编码技术、初次接入技术、以及毫米波NOMA系统下功率分配与预编码的联合优化问题。本文对所要研究的问题做了广泛的调研,深入分析已有方法的思想,在此基础上提出了一些新方法,在复杂度降低和性能提升方面都有一定的改进。本文的创新工作有:1.针对毫米波混合预编码问题,现有的适用于全阵列混合预编码结构的算法:空间上的奇异值分解预编码算法,依赖于码本,需要假想天线阵列的几何结构与天线结构。我们提出了一种不依赖码本的二次混合预编码算法。该算法可以得到一个闭式解,算法复杂度较低。同时该算法是针对子阵列混合预编码结构提出的,硬件复杂度也很低。在相同功率损耗的条件下,我们提出的二次混合预编码算法性能优于空间上的奇异值分解预编码算法。2.针对毫米波初次接入问题,我们主要研究了多基站多用户的场景。现有的连续随机逼近算法收敛性能较差。我们提出了一种基于鸟群追踪的初次接入算法。该算法通过模拟鸟群觅食,会根据已经得到的数据动态的调整搜索空间的范围,收敛精度高,鲁棒性能好。3.针对毫米波NOMA场景,我们主要研究了功率分配与预编码的联合优化问题。现有的联合优化方法只适用于单波束场景,不能扩展到多波束场景。我们提出了一种多波束场景的联合优化算法。该算法通过引入一个码本,将原有的非凸问题近似转化为了一个次优的凸问题,并利用SCA思想进行迭代,具有较好的收敛性。在多波束场景中,该算法性能优于穷尽码本的算法。从统计意义上说,该算法的复杂度远小于基础码本穷尽算法。