在大数据时代，高维数据广泛呈现在生物信息，金融经济和图像处理等领域，其共同特征之一是预测变量具有稀疏性．选择最相关的预测变量是高维数据分析的主要研究内容之一，具有极其重要的应用价值．为此，针对压缩感知和变量选择问题的高维线性回归算法成为学者们研究的焦点，许多快速、有效的算法被相继提出，为解决压缩感知和变量选择问题提供了诸多帮助，值得我们深入探讨和仔细研究．　　本文从解决压缩感知，变量选择问题中的不同模型角度，对目前流行的高维线性回归算法进行比较研究．在对现存算法特点进行总结的前提下，深入地研究算法的精度和效率等重要特性．依托现存的牛顿算法，在此基础上细化了牛顿算法的框架和参数选取，使其达到更好的数值效果，同时提出了未知稀疏度下的自适应牛顿算法，并比较了基于解的差异原则，残量差异原则和HBIC对稀疏度选取的效果．大量的数值实验表明，本文细化的牛顿算法在精度和速度上均优于目前在压缩感知和变量选择领域公认的算法，同时，本文提出的自适应牛顿算法在精度上也超过了该领域公认的算法．在此基础上，我们开发了一个MATLAB软件包．