大规模多输入多输出(Massive Multiple-Input Multiple-Output,Massive MIMO)技术通过在基站部署大量天线以挖掘毫米波通信中的空间维度资源。Massive MIMO技术与混合波束成形技术的结合可以大幅提升频谱效率与能量利用率,并且支持多数据流的传输,成为了毫米波通信中的关键技术。针对不同的混合波束成形架构,已经存在一些对应的混合波束成形设计方案。然而,现有的算法依然存在计算复杂度高,频谱效率性能不理想等问题。因此,本文针对混合波束成形的两种不同架构,分别研究并设计了对应的混合波束成形算法,具体研究如下:对于部分连接结构的混合波束成形架构,通过对现有文献的研究,发现现有的混合预编码设计方案大部分是采用迭代的方式,算法存在计算复杂度过高的问题。为了降低计算复杂度,本文提出了一种采用分层优化策略的混合预编码算法——信道相位提取混合波束成形算法。先利用信道矩阵的相位信息设计出模拟预编码矩阵,再通过等效基带信道确定数字预编码矩阵。在数值仿真中,证明了该算法在相同条件下比对比算法提升了约25%的可达速率,该算法的计算复杂度在该相同条件下是对比算法的万分之一量级,并且在精度为0.7的不完美信道状态信息的条件下该算法的可达速率为完美信道状态信息的条件下可达速率的95%,因此该算法具有高鲁棒性。对于全连接结构的混合波束成形架构,现有文献的大部分研究是假设模拟波束成形部分中的移相器为无限分辨率或高分辨率的。而实际中考虑到系统成本及能耗,需要采用低分辨率的移相器。基于该研究现状,本文提出了一种当移相器分辨率为单比特时的混合波束成形算法——近似角度匹配混合波束成形算法。先采用迭代优化的思想,建立候选集并搜索最优模拟预编码向量和最优模拟组合向量,从而设计模拟预编码矩阵和模拟组合矩阵,再利用等效基带信道确定数字预编码矩阵和数字组合矩阵。数值仿真结果表明该算法与对比算法相比在将计算复杂度降低了天线数的量级的同时可达速率几乎相同,证明了算法的有效性。