本文研究了毫米波大规模多输入多输出系统的波束成形及物理层安全相关技术,具体如下。针对毫米波通信中的波束训练设计了新的分层码本,并基于所设计的码本提出了一种具有有限反馈特性的波束训练算法。与现有分层波束训练算法需要在码本每一层进行反馈来指明发送端的最佳码字不同,本文提出的分层波束训练算法总共只需要两次反馈。该算法将分层波束训练分为两个阶段,每个阶段只需要进行一次反馈即可。在第一阶段,利用所设计的码本顶层码字进行波束训练,缩小了信道发送角（Angle of Departure,Ao D）的搜索范围。在第二阶段,基于第一阶段的反馈信息,利用所设计的码本的剩余层码字进行波束训练,最终发送端根据两次反馈对信道Ao D进行估计。仿真结果表明,相比于现有的分层波束训练算法,本文所提出的波束训练算法在成功率与多用户平均和速率性能几乎保持不变的情况下,能大幅降低反馈开销。本文还研究了存在一个窃听者情况下的毫米波多播无线通信和物理层安全问题,分别对私密信号和人工噪声进行了波束成形设计和优化。（a）对于私密信号,使用波束训练寻找匹配用户的最佳码字及两个相邻码字形成一个组合波束,通过最小化组合波束覆盖范围内波束增益的方差,对组合波束进行离线优化,基于优化后的组合波束估计了信道增益。然后面向最大最小公平准则将天线阵列划分为多个子阵列,其中每个子阵列的大小由估计的信道增益决定,并优化设计了每个子阵列对应的相位因子,从而降低了波束成形算法的计算复杂度。（b）对于人工噪声,通过最小化其对合法用户的干扰,进行波束成形设计和优化,并考虑了移相器的恒包络约束和有限的相位分辨率。除了采用交替相位搜索算法外,还提出了一种基于合法用户信道矩阵零空间的波束成形设计算法。仿真结果表明,相比于现有的算法,所提出的私密信号波束成形设计算法可大幅降低计算复杂度而性能损失十分有限;此外,所提出的人工噪声波束成形设计算法在满足硬件约束的情况下,能有效提高无线通信系统安全速率。