高性能的信源数估计与波达方向(DOA)估计一直是阵列信号处理中的前沿课题,在雷达、声呐、遥测和遥感等领域具有重要的应用价值。目前阵列信号参数估计方法主要以经典渐近体系,即矩阵的维数固定而样本数趋于无穷的统计信号分析理论为基础,适用于处理样本数远远大于阵元数的小规模阵列信号。在相控阵雷达、多输入多输出(MIMO)系统、分布式传感器网络等大规模阵列系统中,由于存储空间的限制和信号处理实时性的需求,可处理的数据往往属于高维有限样本数据甚至小样本数据。经典渐近体系下的参数估计方法用于处理大规模阵列信号时将无法保证估计结果的无偏性,大规模阵列的出现给信号参数估计技术带来了新的挑战。大维随机矩阵理论主要研究样本协方差矩阵、样本特征值、样本特征向量以及相关统计函数在一般渐近体系中的渐近行为。一般渐近体系假设矩阵的维数和样本数以相同的速率趋近于无穷,比经典渐近体系更符合实际观测数据的维数与样本数的比例关系。大维随机矩阵理论为研究大规模阵列信号的参数估计提供了新思路和新理论,其中样本协方差矩阵谱分析、Stieltjes变换等理论已经成功应用于研究经典渐近体系方法在一般渐近体系下参数估计的一致性问题,实现了观测数据为高斯分布时样本数与阵元数在同一数量级情况下的信源数和DOA的无偏估计。但是与经典渐近体系下的阵列信号参数估计理论的成熟度相比,一般渐近体系下的参数估计理论还有待深入研究和进一步完善。本文应用大维随机矩阵理论分析经典渐近体系中代表性方法应用于大规模阵列时参数估计有偏的原因,在此基础上重点围绕样本数与阵元数在同一量级、样本数小于阵元数、观测数据为非高斯分布等情况下的信源数和DOA估计问题,研究大维随机矩阵理论中协方差矩阵估计、样本特征值和样本特征向量的统计特性在信源数和DOA估计中的应用方法,旨在发展和完善一般渐近体系下信号参数估计理论,为大规模阵列信号参数估计提供新的方法和新的途径。论文主要贡献和创新性工作如下:(1)针对样本数小于阵元数时的信源数估计问题,提出了一种基于修正Rao得分检验统计量的信源数估计算法,解决了样本数小于阵元数时信息论准则通常不适用的问题。区别于传统信息论准则类算法信源数估计表达式中由样本特征值算术平均值与几何平均值的比值构成的似然对数项,该算法利用修正Rao得分检验统计量来构造似然对数项,避免了样本数小于阵元数时样本特征值的几何平均值等于零导致的信息论准则不适用问题。根据观测信号中噪声成分的协方差矩阵正比于单位矩阵,利用样本特征值构造基于修正Rao得分检验的观测统计量。当预设的噪声特征值中不包含信号特征值时,所构造的统计量服从标准正态分布,再通过广义贝叶斯信息准则(GBIC)就可实现信源数估计。仿真结果表明,与基于大维随机矩阵理论的信源数估计代表性算法相比,所提算法在样本数与阵元数为同一量级、样本数小于阵元数时均具有较高的正确估计概率。(2)针对观测数据为非高斯分布时信息论准则难以实施的问题,提出了一种高斯和非高斯噪声均适用的基于球形检验的信源数估计算法。该方法不利用观测信号的联合概率分布或者样本特征值的联合概率分布,而是引入球形检验统计量来构造信息论准则中的似然函数项,既克服了信息论准则对观测数据需满足高斯分布的限制,也避免了样本数小于阵元数时信息论准则不适用的问题。根据预设的信源数,利用酉坐标变换将观测数据分为噪声部分和信号部分,当预设的噪声部分观测数据不包含信号成分时,由噪声部分观测数据构造的球形检验统计量服从某一确定的高斯分布。根据一般概率分布的大维协方差矩阵迹函数的无偏估计,利用预设的噪声部分观测数据计算球形检验统计量并构造GBIC准则中的似然对数项。仿真结果表明,所提算法在高斯白噪声、高斯混合噪声和K分布噪声情况下均具有较好的估计性能,并且在样本数小于阵元数情况下也具有很高的正确估计概率。(3)针对随机矩阵中的协方差矩阵估计方法不适用于阵列信号模型的问题,提出了一种适用于均匀线阵的协方差矩阵收缩估计算法,解决了样本数与阵元数在同一量级时样本协方差矩阵为有偏估计导致DOA估计性能下降的问题。采用协方差矩阵的线性收缩估计模型,根据均匀线阵观测信号的协方差矩阵具有Toeplitz结构的特点,将收缩目标设计为Toeplitz矫正后的样本协方差矩阵,根据Wishart矩阵的统计特性推导了收缩系数的闭式表达式并分析了所计算收缩系数的统计性质。理论分析和仿真结果表明,计算得到的收缩系数可保证重构的协方差矩阵是样本协方差矩阵和收缩目标的理想折中。仿真结果表明,所提协方差矩阵估计量应用于多重信号分类(MUSIC)算法后,有效提高了小样本和低信噪比情况时的DOA估计性能。(4)针对样本数与阵元数在同一量级时样本特征值和样本特征向量的相位转移导致信源数和DOA估计性能下降的问题,提出了基于sipke协方差矩阵似然比检验的信源数估计算法和基于样本特征向量相位补偿的DOA估计算法。根据阵列接收信号的协方差矩阵具有spike协方差矩阵的性质,构造了spike协方差矩阵似然比检验统计量并作为GBIC准则中的观测统计量,该统计量在预设信源数等于真实信源数时服从标准正态分布。在信号特征值和噪声功率的无偏估计基础上,实现了用于信源数估计的观测统计量并估计了样本特征向量的相位转移。信源数估计的仿真结果表明,在样本数与阵元数为同一量级时所提算法比基于大维随机矩阵理论的信源数估计代表性算法有更高的正确估计概率。DOA估计的仿真结果表明,利用相位转移估计结果对样本信号子空间的正交矩阵进行相位补偿后,提高了MUSIC算法对空间邻近信号DOA估计的分辨能力。