论文部分内容阅读
独立分量分析(Independent Component Analysis,ICA)是近年来出现的一种新颖的信号处理方法,其目的是从观测到的混合信号中分离或提取出分布未知但相互统计独立的源信号。经过将近20年左右的研究,ICA的理论和应用均得到了飞速的发展。ICA已成为神经元网络,信号处理和机器学习等领域的研究热点,且已经成功地应用于人脸识别,无线通信以及语音信号处理等众多领域。
本文主要关注ICA的理论方面,尤其是ICA中的几何方法。这类方法在ICA理论中独树一帜,其动机往往十分直观,但在具体实现上仍需丰富而又扎实的数学基础。本文的主要研究内容和取得的创新性成果如下:
1.通过对非负ICA的观察,提出了一种基于深信号满足well-vertexed假设的信号分离框架。大致地说,这个框架是非负ICA的弱化。由于当采样数足够多时,源信号一定满足well-vertexed假设,因而这个框架在某种意义下甚至还是ICA的弱化。如同非负ICA,在这个框架下也不需要对源信号概率密度进行估计或模拟,因而节约了这部分在很多ICA算法中(诸如Extended InfoMax)存在的计算开销。文中在系统地提炼出well-vertexed假设的动机之后,进而给出了具体的优化模型和目标函数。接着给出了算法的两种不同实现,并分析了其中一种实现的暂态行为和稳定性。文中给出的另一种建立在反对称矩阵指数基础上的算法实现,可使得在每一步迭代中所有坐标轴同时旋转。这一点不同于传统的成对坐标相继旋转,其只能在每一步迭代中实现两两坐标轴旋转,显然这里的方法更有效率。借助于矩阵指数的一阶近似展开,该方法的计算也十分直接,同时给出的推导也不需要与此紧密联系的李群等现代数学知识。此外,由于周期源信号具有某种天生地满足well-vertexed假设的特性(文中尚未能给出必要的相关理论分析),在这个框架下解混周期信号也许会尤其有效。文中给出了两个仿真实验,实验结果验证了基于well-vertexed假设的信号分离框架对解混独立或非独立周期混迭信号的有效性。
2.在给出分离矩阵的一种基于矩阵指数乘积表示的基础上,建立了ICA中的归一化自然梯度算法,其推导过程赋予了ICA中的自然梯度一种直观又简洁的解释,同时仿真实验表明归一化操作可使算法性能得到一定提升。接着,从纯几何角度提出了一神通用的利用稀疏反对称矩阵指数来求解具有正交旋转约束的优化问题的快速迭代算法,并把这个算法用于解决ICA问题。该算法的关键是利用文中建立的只有一列和一行非零的反对称矩阵指数的解析表达式,这可使得相关的计算简洁又精确。为避免白化在某些场合下对分离质量的削弱,本文还提出了一种无需白化,且只搜索具有单位行列式的矩阵空间的ICA算法。此算法的一个相关变种类似于自然梯度算法,但其隐式地优化了更新矩阵的对角元素和非对角元素的相对权重以提高分离性能。以上三种算法均可视为自然梯度在ICA中的推广,均可用简单的矩阵语言来严格的推导。文中给出了各算法的仿真实验,并把实验结果和经典ICA算法作了横向对比。
3.通过分析正交矩阵每一列在球坐标下的表示,得到了一种正交矩阵的参数化表示方法,进而提出了一种序贯抽取各个独立分量的ICA算法。本算法将ICA中的高维优化问题转换为一批序贯且相对独立的低维优化问题。同时南参数化正交矩阵实现了对优化问题中参数的自由化,整个过程没有任何近似。这种参数化正交矩阵的构造方式具有普适性,可用于求解其它带正交约束的相关优化问题。文中给出的仿真实验表明了算法的有效性。
4.提出在ICA中把高维旋转分解为低维子旋转的乘积,给出了二种低维旋转的非平凡解析表达,同时纠正了在别的文献中建立的四维旋转解析表达中的两个计算错误。相对于传统的把高维旋转分解为纯二维子旋转乘积的方式,在这种方式下,子旋转个数不仅大为减少,且可计算目标函数在高至四维子空间上的最快上升方向。而在传统的分解方式中只能计算目标函数在指定平面上的最快上升方向。由此算法的效率和精准度大为改善,相应的仿真实验验证了算法的高效性。