为缓解无线通信系统工作的频段资源较为紧张的局面,频率为30GHz至300GHz间的毫米波频段将在5G及未来6G网络中发挥巨大的作用。大规模MIMO混合预编码技术在对抗链路传输损耗、提高系统性能、降低硬件成本和系统功耗等方面展示出了巨大优势,在5G网络中占有重要地位。然而,随着人类对数据业务的需求急剧增长,一般的窄带通信无法满足高数据业务的要求,通信产业界和学术界把目光转向了宽带通信。但宽带信号和大规模MIMO的结合将会产生时域上的空间宽带效应和频域上的波束色散问题,系统的通信速率也将受到严重制约。为提升系统性能,本文将对基于波束色散的宽带大规模MIMO系统混合预编码算法进行研究。一方面,本文对基于信道状态信息及天线阵列响应的混合预编码算法进行了研究。首先从理论角度分析宽带系统的波束色散对模数混合预编码产生的影响,在已知完美信道状态信息条件下,详细分析了基于平均信道矩阵、平均信道协方差矩阵、广义子空间外部均值矩阵三种宽带混合预编码算法。为解决计算复杂度较高的问题,本文研究了基于天线阵列响应的混合预编码算法,并通过仿真验证了上述算法的良好性能。另一方面,为进一步提高系统性能,本文提出了基于流形优化的混合预编码算法。由于本文建立的优化问题具有恒模约束,是个非凸优化问题,因此可以利用流形优化对约束条件进行松弛,借助复圆黎曼流形及共轭梯度下降算法实现混合预编码的设计。为降低运算复杂度,本文对优化问题进行松弛,提出了基于相位交替最小化的宽带混合预编码算法,通过仿真对比,验证了以上算法性能。最后,本文借鉴雷达系统的设计,以最大化阵列增益为目标,研究了基于虚拟子阵列和基于实时延迟线的宽带混合预编码算法。通过虚拟子阵列产生子波束来获得宽波束以覆盖整个频带,通过实时延迟线器件为不同频率的子载波分配不同的延迟补偿,尽可能减少波束色散带来的影响,并通过仿真分析验证以上算法性能。