作为一种具有非平行超平面的统计机器学习方法，双支持向量机及其拓展已经在处理二分类问题中取得了丰硕的研究成果.然而，将其推广到多类分类和回归问题时面临着模型选择和快速求解等难题.本文针对上述问题，研究了两类非平行超平面学习机并发展了其快速求解算法.本文的主要创新点如下:　　针对采用“1对1对其它”策略的多类分类双支持向量机的模型选择问题，基于模型转化及数据划分，证明了两个子最优化问题的解关于正则化参数是分段线性的，并据此发展了完全正则化解路算法.线性方程组和分块矩阵理论被应用于证明分段线性解路，六类事件被定义来寻求首发事件进而设计解路算法.此外，给出了解路初始化条件，证明了当正则化参数λ((λ))趋于无穷大时，拉格朗日乘子αi(α*i)及βk（β*k）为1.基于UCI数据集的仿真结果表明所提方法能取得满意的多类分类性能.　　针对含噪声的回归问题，通过利用样本响应的信息，一种新的加权机制及加权最小二乘双支持向量回归被提出，并发展了离线和在线求解算法，降低了噪声对预测精度的影响.含噪声的人造数据集和基准数据集的仿真结果表明所提方法在测试集的平均平方误差、误差平方和与偏差平方和之比、可解释的偏差平方和与真实的偏差平方和上优于最小二乘双支持向量回归.