论文部分内容阅读
Kaczmarz算法是一种求解超定线性系统Ax=b的有效方法。Kaczmarz算法在诸如图像重构,数字信号处理等信息科学领域都有广泛的应用。与传统的Kaczmarz算法比较,在经典Kaczmarz算法基础上建立起来的随机化的Kaczmarz算法(RK算法),其算法效率更加高效,收敛速度可以达到指数收敛。对于一定条件下的超定线性系统,数值模拟以及理论分析表明,RK算法比包括著名的共轭梯度算法在内的传统算法更加高效。本文进一步研究了随机化RK算法的设计,主要创新性工作包括: 1.基于矩阵低秩近似的随机RK算法设计 通过设计一种具有正交结构的低秩预条件矩阵,得到了求解线性方程组Ax=b的预条件RK算法,从理论上证明了本文算法提高了随机RK算法的收敛性,而当mn时,数值实验验证了本文算法比传统的随机RK算法具有更快的收敛速度与计算效率。 2.基于Nesterov加速迭代格式的含噪RK迭代算法 基于随机近似投影(Randomized Approximate Orthogonal Projection)思想,本文将RK算法(REK)拓广到求解含噪声的超定线性系统,算法主要思想是将b正交投影到A的列向量形成的空间上,从而可以尽可能的减少噪声的影响,并通过Nesterov加速迭代格式对改进REK算法进行加速,从而建立了一种加速迭代算法(AREK:Accelerated Randomized Extended Kaczmarz)。数值实验表明,当矩阵A是稠密矩阵且A的最小的奇异值很小时,AREK算法相对于REK算法有更好的收敛性。 3.基于随机行选取与最小二乘法的分块RK迭代算法 Needell和Tropp给出了分块随机分块Kaczmarz算法,该算法的主要思想是将当前迭代量投影到A的子矩阵的解空间。本文基于随机行选取与最小二乘法相结合,建立了一种新的分块RK迭代法,其基本步骤是:以子矩阵条件数作为约束条件,选取矩阵A中若干行,分割得到若干子块矩阵,然后实现分块RK迭代,数值实验表明了算法的高精度特性。 4.通过快速柯西变换的子空间嵌入方法 在L2范数的前提下,我们给出一种基于快速柯西变换(Fast Cauchy Trans-form, FCT)的子空间嵌入方法(subspace embedding method)。利用良态基(well-conditioned basis)选取得到了L2范数下快速柯西变换矩阵,拓展了快速柯西变换子空间嵌入的理论与方法。