论文部分内容阅读
近年来,稀疏贝叶斯学习方法成为机器学习中的一个研究热点,它能够充分挖掘和利用数据的先验信息,假设先验信息的概率分布情况,对要解决的问题进行合理的数学建模,来实现低维模型的学习。由于挖掘了数据的先验信息,因此能够利用数据自身的特性对信号和图像实现最优的稀疏表示。稀疏贝叶斯学习的关键难点在于：模型的选取和先验知识的假设。在研究稀疏贝叶斯学习理论的基础上,本文深入探讨了在不同概率模型下的信号和图像稀疏建模与学习方法,主要在如下几个方面开展了工作：(1)提出一种基于快速贝叶斯匹配追踪算法(Fast Bayesian Matching pursuit,FBMP)的稀疏学习机构造方法。FBMP算法加入了稀疏系数服从混合高斯分布的假设,比传统的贪婪匹配追踪算法的性能有了显著提高。本文在分析FBMP算法性能的基础上,将该算法用于学习机的结构稀疏化,提出一种基于FBMP的稀疏学习机方法。在压缩感知框架下,进一步通过压缩采样技术得到结构更加精简的网络模型。将该方法用于双螺旋线数据的分类,实验结果显示：该方法能够得到性能优良的学习模型,相比其他优化算法得到的学习机具有更好的性能。(2)实现了一种基于l1正则化的稀疏贝叶斯学习算法,在贝叶斯准则下给出一种正则参数的学习方法。在稀疏贝叶斯学习中,假设稀疏系数服从Laplace分布,引入了均匀正则化和独立正则化的思想,建立了l1范数正则的稀疏贝叶斯学习模型,研究了正则化参数的确定方法。针对一般最小二乘(Ordinary Least Square,OLS)和非负最小二乘(Nonnegative Least Square,NLS)两种情况,提出在贝叶斯准则下正则参数的学习算法,仿真实验验证了其有效性。(3)实现了图像稀疏表示的非参数稀疏贝叶斯学习,给出了在Dirichlet过程和Beta过程两种分布下的非参数贝叶斯混合因子模型。对能够被约束在低维子空间中高维图像数据进行低秩混合高斯模型的学习,该模型从给定的数据集中自动学习得到混合元素的个数和因子个数,将其作为数据的先验知识用于图像的压缩感知重建中,仿真实验分析了其有效性。本文的工作得到了国家自然科学基金(61072108,60601029,60971112,61173090),教育部新世纪优秀人才支持计划(NCET-10-0668),高等学校学科创新引智计划(111计划)：No.B0704和中央高校基本科研业务费(JY10000902041)的资助。