高频天波超视距雷达是一种可以探测位于超远距离的目标的雷达系统，具有监视范围大、单位面积成本低、防低空突袭，能探测隐身目标等突出优点。本文针对天波超视距雷达进行舰船目标和高速高机动目标检测时存在的问题，分别给出了基于相位梯度-奇异值分解的海杂波预处理算法和基于包络移位补偿-高阶模糊函数的高速高机动目标运动补偿算法，提高了OTHR的目标检测性能。本论文的主要工作如下：1.对天波超视距雷达的距离解调方案进行了详细的推导，并给出了距离解调的仿真结果。2.分析了电离层对电磁波传播的影响，建立了电离层相位污染的模型。分析和验证了三种污染校正算法，包括Hankel矩阵降秩算法、多项式相位变换算法和相位梯度算法。在此基础上将相位梯度算法与奇异值分解算法结合，用于实现电离层污染校正和海杂波抑制，提高了OTHR对舰船目标的检测性能。3.针对OTHR检测机动目标这一问题，分析了加速度及更高阶运动分量对回波信号的影响，推导了加速度补偿的一般方法。高阶模糊函数算法具有运算量小，估计精度高的优点，因此得以广泛应用。但是该算法在应用中存在信噪比门限较高和存在交叉项两个问题。因而本文引入了用三次相位函数算法和分数阶傅里叶变换来实现对OTHR机动目标的检测性能的改进。仿真实验验证了在变加速目标和多目标两种情况下的所提算法的有效性。4.弹道导弹主动段目标可以视为一类典型的高速高机动目标，建立了弹道导弹的主动段飞行模型。由于弹道导弹在主动段末通常达到较高的速度，存在距离走动问题，本文采用了包络移位补偿算法进行距离走动校正，并进行了仿真验证。5.提出了弹道导弹主动段目标的综合检测方案，即将包络移位补偿算法与高阶模糊函数相结合，完成对目标的高速度和高加速度的补偿。仿真结果验证了在无目标、弹道导弹目标、飞机目标以及两种目标同时存在这四种场景下所提算法的性能。