本文主要研究了神经网络及其算法在记忆非线性高功率放大器(HPA)自适应基带数字预失真技术中的应用，所做的主要工作包括： 1.研究了记忆非线性HPA的失真特性。针对宽带OFDM通信系统中的HPA出现记忆失真这-新特点，着重从数学本质方面研究了记忆非线性HPA的结构特点以及非线性特性和记忆效应的根源、本质及其对信号的影响。理论分析和仿真结果一致证明记忆效应不容忽视，它使AM/AM和AM/PM特性响应不再是一条曲线，而变为一簇磁滞曲线，并且加重了HPA的非线性失真。从而，为重点研究的记忆非线性HPA自适应基带预失真的实现提供理论依据和方法指导。 2.对HPA的失真特性建立了两个模型。针对记忆非线性HPA的BP神经网络(BPNN)模型的精度不够高、泛化能力欠佳的弊端，本文基于带抽头延时的BPNN，研究了HPA的BPNN模型精度和泛化能力与不同归一化训练数据、训练样本数目和隐层神经元个数之间的关系，并基于此研究结果，成功地为记忆非线性HPA复杂的失真特性建立起了带抽头延时的BPNN模型。仿真结果表明该HPA模型既有理想的精度又有很好的泛化能力，有效地提高了该模型的稳定性和实用性，保证了它在预失真体系中能发挥理想作用。另外，无论在无记忆非线性HPA还是在记忆非线性HPA的失真特性中，AM/AM特性都是最主要的失真因素，因而也是HPA预失真的重中之重，所以本文重点研究了幅度失真特性的建模，并基于幅度失真的数学特性提出了一个有用的解析模型。与两个经典解析模型相比，该模型更简单，能大大降低预失真实现的复杂度。然后基于预失真器的性能指标，对该模型进行了性能评价。仿真结果表明该解析模型实用性很强，对于OFDM信号激励下的TWT和SSP类HPA的幅度失真特性，它都能在拟合精度和实现复杂度之间做到很好的折衷。 3.提出了神经网络分离预失真方法，推导了分离预失真原理，给出了实现结构和自适应算法。针对OFDM系统中的记忆非线性HPA预失真困难以及预失真精度不高的问题，本文方法充分考虑了记忆非线性HPA的失真特性及其结构特点，把记忆非线性HPA的预失真分为三个模块来实施，即抵消记忆效应模块、AM/AM失真矫正模块和AM/PM失真矫正模块，并基于神经网络预失真器非直接学习结构，利用Levenberg-Marquardt BP算法确定各个神经网络预失真器。从而，克服了以往方法中存在的各失真特性预失真过程之间相互影响，简化了预失真器的网络结构和自适应算法，大大降低了记忆非线性HPA的预失真难度。仿真结果表明了本文方法的有效性和优越性，不仅成功地解决了复杂的记忆非线性HPA预失真问题，而且与文献方法相比，明显提高了HPA预失真精度，进一步降低邻信道互调功率约10dB，且与理想预失真效果相距甚小，大大改善了OFDM系统的通信性能，具有重要的理论意义和工程价值。 4.提出了两种神经网络预失真器改进学习方法。针对预失真器非直接学习方法中存在的预失真性能缺陷和直接学习方法中存在的庞大计算复杂度的弊端，本文提出了两种改进方案，并给出了这两种神经网络预失真器改进学习方法的结构和自适应算法。第一种改进方法是基于神经网络非直接学习方法与神经网络直接学习方法的结合。第二种改进方法的核心是利用非线性逆算子的性质推导出了神经网络预失真器的学习结构，并采用一种近似方法简化了神经网络预失真器的自适应算法，使得该方法较直接学习方法大大降低了计算复杂度。仿真实验及分析一致证明了这两种改进方法的可行性和优越性：与神经网络非直接学习方法相比，这两种改进方法都能够有效地提高幅度预失真器的精度，进一步降低邻信道功率比约4dB，改善了预失真效果；与神经网络直接学习方法相比，这两种改进方法都能够有效地加快幅度预失真器的训练和收敛速度。且第二种改进方法避免了第一种改进方法在收敛过程中出现的振荡现象，进一步提高了幅度预失真器的精度，还大大简化了幅度预失真器的自适应算法。 5.研究了线性调频信号（LFM)瞬时频率估计问题，给出了利用小波分析理论对LFM信号进行瞬时频率估计时应采用的最优小波基，提出了基于Hilbert-Ituang变换(HHT)的LFM信号瞬时频率估计方法。 首先，针对人们惯用Morlet小波分析LFM信号这一现象，为了提高LFM信号瞬时频率估计精度，本文基于对小波函数特性的分析，研究了基于小波分析的LFM信号瞬时频率估计中所必须解决的小波基优化选择问题，并给出了最优小波基。仿真结果表明了基于该最优小波基估计出的瞬时频率参数更加准确，而基于Morlet小波基估计出的瞬时频率参数误差较大，为小波分析更有效地应用于LFM信号以及为LFM信号构造出合适的小波基指明了方向。 然后，基于HHT理论，并结合LFM信号的瞬时频率是关于时间的直线这一特点，针对单分量和平行多分量LFM信号分别提出了基于HHT的瞬时频率估计方法，并采用低通滤波和改进最小二乘直线拟合法来抑制HHT固有的边界效应。与以往抑制边界效应的方法相比，本方法选择余地大、更加简单易行，而且能更加有效地降低边界效应对LFM信号瞬时频率估计的不利影响，直接得到更加准确的瞬时频率参数估计值。仿真结果表明了本方法的有效性和优越性；利用本文提出的基于HHT的单分量LFM信号瞬时频率估计方法比利用小波脊方法得到的参数估计值更加准确；本文提出的基于HHT的平行多分量LFM信号瞬时频率估计方法能较准确地估计出相距很近的各平行分量瞬时频率参数值，解决了小波分析所不能解决的问题。从而，在推广和改善HHT应用方面作出了有益的探索，同时也为LFM信号瞬时频率估计问题提供了一个新的、有效的解决途径。