以牛顿法为代表的二阶优化算法已经被应用于解决稀疏学习问题并取得了良好的效果。这种算法与一阶优化算法相比主要的缺点是需要计算海森矩阵而会消耗大量资源,解决上述问题的一个方法是寻求海森矩阵的近似项。本文提出了一种新的近似海森矩阵方法,本算法基于线性模型的光滑性条件构造了一个与数据特性相关的近似项,并基于此近似项构造了一个二阶子问题逼近原问题,接着利用迭代硬阈值法求解子问题间接地实现对原问题的求解。本算法可以应用于一些海森矩阵难以计算或者没有海森矩阵的线性模型。本文从理论上证明了该算法的可行性,并将此算法运用到几个经典的线性模型中。实验结果表明本算法与其它算法相比在收敛速度和准确率方面都具有很大的优越性。网络压缩特别是网络结构化剪枝是近几年来深度学习十分热门的研究方向。现有的网络结构化剪枝算法运用神经网络模型的零阶信息或者一阶信息作为衡量网络通道重要性的标准。本文提出一种将模型的二阶信息用于衡量网络通道重要性依据的算法,利用幂迭代算法得到网络参数对应的海森矩阵最大特征向量,然后将得到的特征向量作为衡量通道重要性的依据,并对神经网络进行结构化剪枝。本文将所提出的算法运用到经典的深度神经网络上,实验结果表明本算法具有很强的可行性。综上所述,本文的工作可以概括成以下两个方面:1.提出了一种用于稀疏约束下线性模型最优值求解的二阶优化算法,本算法可以应用于一些海森矩阵较为复杂或者没有海森矩阵的线性模型中,本文进行了理论分析并结合实验证明了本算法的有效性。2.提出了一种利用神经网络二阶信息衡量网络通道重要性的结构化剪枝算法,该算法利用幂迭代法获取模型的二阶信息,并依据该信息对神经网络通道进行剪枝。实验结果表明本算法可以在不影响网络精度的前提下减少模型参数量,并实现模型加速。