存通信系统中，信号谱重叠导致干扰抑制问题；信道的非线性失真使系统的性能严重恶化，而这些常常需要非线性滤波器来处理。针对通信信号的非线性滤波问题，在前人研究和现有工作的基础上，拟建立基于最低误码率(Minimum Bit Error Rate，MBER)准则的非线性时域滤波理论，据此构筑滤波器的实现形式，并用于高效调制通信系统等领域。主要工作包括以下几个方面： 1)针对非线性滤波器滤除信号的带内非高斯噪声问题，研究了量子随机滤波器的原理和性能。 2)针对通信中频谱混叠信号的分离，提出了一种几何特征滤波算法，并利用径向基函数神经网络构造了一个几何特征滤波器。 3)考虑到本文研究的主要应用背景是通信，而数字通信系统更强调误码率指标，因此研究了基于最低误码率准则的非线性滤波器，并推导了最低误码率准则的目标函数。 4)对于MBER非线性滤波器，其参数常采用随机梯度算法进行训练，但收敛速度较慢且存在局部收敛问题。为改进随机梯度算法，提出了几种新的学习算法，即遗传随机梯度算法、滑窗随机梯度算法以及重置的拟牛顿算法。并针对非凸优化问题，在理论上证明了重置的拟牛顿算法的收敛性。 5)Volterra序列可用来实现非线性滤波器，但Volterra滤波器的计算复杂度随着输入数据维数及Volterra阶数的增加呈指数增长。同样，对于径向基函数神经网络，计算复杂度也随基函数的数量增多而快速增长。为减少计算复杂度，提出了一种最低误码率准则的多级软判决滤波器。 6)除将MBER非线性滤波器用于高效调制通信系统中扩展的二元相移键控调制信号的干扰抑制外，还拓展用于直接序列扩谱通信系统的干扰抑制、非线性信道均衡及多元调制信号的均衡等。 本文的大量仿真表明：量子随机滤波器可有效滤除非高斯噪声；几何特征滤波器可有效滤除谱混叠干扰；在干扰抑制、非线性信道均衡等场合，非线性滤波器基于最低误码率准则优于基于最小均方误差准则；遗传随机梯度算法可避免MBER非线性滤波器的参数陷入局部极小点；相对于随机梯度算法，重置的拟牛顿算法具有更快的收敛速度。