在高速发展的互联网时代,网络技术的进步加速了各个领域数字化的转变,数据获取的方式越来越便捷。数据量和特征维数的剧增使信息越来越丰富,计算量也越来越大。因此,如何选择特征尤为关键。特征选择作为机器学习算法处理问题的重要一步,因其能实现特征维数的有效约减,避免“过拟合”、“维数灾难”等现象的发生,有效提高机器学习算法的计算速度和泛化性能,而受到广泛关注。本文基于回归问题研究特征选择方法。首先,本文提出了一种新的支持向量回归算法,-最小绝对偏差回归算法(ν-MADR)。我们利用最新的支持向量回归理论,定义了绝对回归偏差均值和绝对回归偏差方差这两个统计量,并将其引入ν-SVR中,得到ν-MADR算法的原始优化问题。为了解决优化问题,我们针对小样本问题提出了对偶坐标下降算法,同时针对大规模问题提出了平均随机梯度下降算法。在人工和真实数据集上的实验结果表明,与流行的回归算法(例如ν-SVR、LS-SVR、ε-TSVR、线性ε-TSVR)相比,我们所提的ν-MADR算法在泛化性能上有显著的改善,并且训练时间更短。然后,我们基于ν-MADR算法实现了一种新的特征选择算法,基于-最小绝对偏差回归的递归特征剔除算法(ν-MADR-RFE)。该方法将ν-MADR算法的拟合结果作为特征重要性的评判标准,逐步剔除对回归模型贡献小的特征。在真实数据集上的实验表明,相较于其他特征选择方法(例如PCA、stepwise、LASSO算法、ν-SVR-RFE),我们的特征选择算法具有更好的性能,同时对参数不敏感。