毫米波通信技术凭借其可以提供千兆比特每秒传输速率的优势已成为当下通信系统的关键技术之一,与大规模多输入多输出(Multiple-input Multiple-output,MIMO)技术和模数混合预编码架构相结合的研究方兴未艾。毫米波通信系统带宽容量和频谱利用率的提升与高效准确的信道状态信息(Channel State Information,CSI)获取紧密相连,信道估计技术在毫米波通信系统研究中占据着至关重要的地位。大规模天线阵列和模数混合预编码架构的部署对传统信道估计算法提出了挑战,因此研究出基于宽带多用户毫米波大规模MIMO通信系统的高效信道估计算法是一个亟待解决的问题。针对这一问题,本文主要研究了基于变分贝叶斯学习(Variational Bayesian Learning,VBL)的信道估计算法。论文的主要工作及创新总结如下:1)提出了基于稀疏贝叶斯学习(Sparse Bayesian Learning,SBL)的宽带多用户毫米波信道估计模型。通过对宽带毫米波信道、加性高斯白噪声和随机异常值噪声这些未知变量先验分布信息的挖掘,设计了分级高斯信道模型和贝塔-伯努利分级模型,避免了匹配追踪算法中网格量化误差和随机异常值噪声对重构CSI的影响,提升了 SBL模型的延展性和鲁棒性。2)提出了基于频率域-VBL的信道估计算法。结合VBL理论求解SBL模型中未知变量的后验分布信息,通过最小化“相对熵”的方式保证了多个未知变量参数交替更新的可行性。综合考虑了未知变量的先验分布和后验分布情况,提升了信道估计算法的准确度。此外,推导了宽带多用户毫米波通信系统信道估计问题的贝叶斯-克拉美罗边界(Bayesian Cramer-Rao Lower Bound,BCRLB)。3)提出了基于支撑集选择-VBL的快速信道估计算法。通过开发接收信号向量与传感矩阵支撑集向量之间的相关性,设计支撑集选择策略构建可替代传感矩阵,降低了各个未知变量在参数学习中求解逆运算操作的计算复杂度。另外,对比分析了该算法和基于频率域-VBL信道估计算法的计算复杂度。