根据高维数据的一些特殊结构,例如稀疏性,低秩性,可以从病态的线性或者非线性的观测值中恢复出特定的信息.这是无数学者都关注的数据科学反问题.这一问题在以稀疏和低秩优化为核心内容的稀疏信号恢复,低秩矩阵填充/恢复,稀疏相位恢复,图像重建,低秩张量填充,深度学习,稀疏优化算法等领域均有体现.本论文探究稀疏与低秩优化为核心的相关问题的理论与算法.本论文的主要贡献如下:第一是关于凸的l1极小下稀疏信号恢复的理论研究.首先,我们在基于累积相干性框架下,提出了可以保证稀疏信号精确或者稳定恢复的充分条件.其次,我们估计了累积相干框架下的两类模型Lasso解法器和Dantzig选择器的预测损失的近似程度.最后我们还通过数值实验,说明累积相干条件的优势.第二是关于非凸的l1-αl2(0<α≤1)极小下信号恢复的理论与算法研究.为了从脉冲噪声观测值恢复信号与图像,我们引入了两个新模型:带l1约束的l1-αl2极小-l1-αl2-LAD,带Dantzig选择子约束的l1-αl2极小-l1-αl2-DS.我们证明了在某个l1-RIP条件下,可以通过l1-αl2极小精确或者稳定恢复稀疏或者近似稀疏信号.为了计算方便,我们也提出了无约束的l1-αl2模型-l1-αl2-PLAD.结合DCA算法和ADMM算法,我们给出了具体的具有收敛性分析的求解算法.我们的数值实验表明,当感测矩阵高度病态时(即相干性大于0.99),l1-αl2LA比l1凸极小和lp非凸极小有更好的恢复效果.第三是基于梯度变换域下稀疏的正则的图像的重建与修复.我们注意到一个有趣的现象,即图像u(特别是对于具有分片常数区域的图像)的梯度变换矩阵Dxu,Dxu不仅是稀疏而且是低秩的.我们提出了一种称为压缩全变差(CTV)的模型来刻画图像的这种先验知识.为了解决该模型.我们设计了一种基于ADMM的可证明收敛性的具体算法.针对提出的模型,我们做的测试包括磁共振成像(MRI)重建,图像去噪和图像去模糊.我们所提出的模型不仅能恢复图像的非光滑的边缘和精细细节,而且还能很好的保持图像中的主要物体的形状.第四是针对多块凸优化问题的惯性邻近ADMM算法和仿射相位恢复.首先针对带有可分离目标函数的多块凸优化问题,我们提出了一种惯性邻近ADMM(Prox-IADMM)算法,这是针对具有可分离目标函数的两块凸优化问题的惯性邻近ADMM算法的非平凡延拓.我们的方法不需要对原始模型做任何限制,仅仅是对经典的ADMM算法的迭代格式做细微的修正.在一些很温和的条件下,我们得到了目标函数和生成序列的全局收敛性.作为我们提出的算法的应用,我们考虑了稀疏仿射相位恢复问题.通过提升技术,矩阵的秩的凸松弛-核模范数,稀疏度的凸松弛-l1范数,我们建立了基于提升的压缩仿射相位复原(CAPRL)模型.这个模型的目标函数包含变量稀疏向量x,稀疏且低秩的半正定矩阵X;其约束条件为非凸的X=xxT.对噪声情形,还含有数据拟合项.通过我们提出的算法设计的具体的解决方法表明,稀疏信号可以从稀疏仿射相位恢复测量值中精确或者稳定恢复.此外与其他一些ADMM算法比较的数值实验表明,我们的算法需要的迭代次数更少,有更快的收敛速度.