近年来生物信息、图像处理、金融管理等领域产生的大量高维数据使得传统的变量选择方法存在计算量大和稳定性差等不足,因此寻找更为高效的高维变量选择方法刻不容缓.惩罚因子法是较为流行的可以较好处理高维变量选择的方法,其在选择变量的同时估计系数,即在估计参数时,通过将部分系数压缩到零来实现变量选择.由于现有的惩罚因子大多是凸函数,导致该方法存在数据的大量冗余难以去除、稀疏尺度的位置难以区分等不足.为了克服上述不足,本文主要研究基于非凸函数惩罚因子的高维变量选择方法,主要研究内容如下:(1)研究了将非凸函数-分式函数作为惩罚因子的高维变量选择方法.首先证明了正则化模型与原模型的等价性并研究了正则化模型最优解的一阶和二阶最优条件及其非零元素绝对值的上下界.然后基于阈值表示理论对正则化模型设计了求解算法-FP阈值算法.(2)给出了一种新的基于非凸函数惩罚因子的高维变量选择算法.通过构造一个收缩算子,并利用邻近算子理论得到了一个非凸的惩罚因子.然后应用向前-向后分裂方法求解其对应模型,得到了迭代分式阈值算法(IFTA),并证明了该算法的收敛性.(3)一种改进的高维变量选择方法.针对LASSO模型的求解算法-迭代软阈值算法(ISTA)收敛速度较慢的不足进行了改进,使其在计算下一步迭代点时同时依赖于前两步的迭代点,得到了SFIST算法.实验结果表明,SFISTA比ISTA更快的趋向最优解,并且得到的最优解也更稀疏.