数字调制信号的识别技术在智能解调、电子对抗和软件无线电中,都是十分重要的技术。目前已有的方法大多是基于理想条件或仅有高斯白噪声的情况下提出的,很少涉及多径、低信噪比的无线通信环境。基于判决树的神经网络方法实现简单,可以很好的模拟非线性条件下的通信环境,但是目前关于判决树的结构和节点中采用的特征参数都是基于设计者的经验选定的。针对以上问题,本文通过组合自组织神经网络和基于判决树的神经网络,提出了一种新的神经网络。首先利用自组织神经网络提取有效特征参数和判决树结构设计,然后,将径向基神经网络代替判决树的节点,构成整个识别系统。针对小样本的通信环境,本文提出了一种新的Bootstrap采样技术,提高了小样本情况下的识别率。通过计算机仿真验证了该方法在多径、低信噪比条件下的识别性能。