正则化方法解决神经网络稀疏化问题

来源 :大连理工大学 | 被引量 : 0次 | 上传用户:a53479051
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
神经网络的输入数据中有时包含有一些无用的信息,我们称它们为冗余数据。如果包含有冗余数据,我们就需要把它们找出来,我们把这个过程称之为神经网络稀疏化问题。找出数据中的冗余项,我们就可以去掉这些数据。本文提出了把BP神经网络和正则化方法相结合的办法来解决神经网络稀疏化问题。正则化方法主要有L0正则化,L1正则化,L2正则化和L1/2正则化。由于L0正则化的问题比较困难,难以推广和应用;L2正则化的稀疏性比较差,对于找出冗余数据没有什么帮助。因此,我们主要采用把BP神经网络和L1正则化方法相结合及BP神经网络和L1/2正则化方法相结合的方法来解决问题。该方法运用梯度下降法来更新权值,训练网络,最后得到一个较为稳定的结果。最后,我们在一个逼近问题和一个分类问题上进行数值实验,实验表明,我们的方法能够解决神经网络稀疏化问题。
其他文献
近年我校大力推行自探互教式的课堂教学模式,将课堂充分地交给学生,将学生分成学习小组以学生自主探究、组内互助为主要学习模式,充分地调动学生学习的积极性和主动性,对于这
Morse理论自从20世纪20年代由H.Morse提出以来,有了长足的发展。经典的Morse理论给出了光滑流形的拓扑性质及其上Morse函数的非退化奇异点之间的相互关系。20世纪50年代,Smale
本文致力于研究可压缩理想流体在管道内定常流动时产生的一类跨音速激波的适定性问题. 利用管道输运流体以及控制流体的运动,在生产、生活和国防等方面有着广泛而重要的应用
物理学科是中考的必考科目之一,为了让学生在中考时考出理想的成绩,在中考前的两个月里,每个物理老师都会想方设法给学生做好充分的备考复习。但是,老师也好,学生也罢,不论精
半参数模型由于能够在简约性与灵活性之间达到良好的平衡,所以经常被用于生存数据的分析.本文研究一类带有变系数的部分线性模型.其中,我们利用样条基函数近似的方法来估计函数
党的十六大强调指出,要继续深化干部人事制度改革,进一步推进干部工作的科学化、民主化、制度化,形成广纳群贤、人尽其才、能上能下、充满活力的用人机制,努力建设一支能够
在实物的三维空间采样过程中,常常出现采样数据不完整的情况,导致其生成的离散曲面所表示的实物存在部分缺失。对缺失部分进行准确检测和合理修复已经成为计算几何和数字图形
全县15名县级领导干部与30名专业技术拔尖人才和15名企业经营管理人才建立联系,领导干部每月至少走访拔尖人才2次,及时掌握他们的工作、学习、生活等情况,听取他们的意见和
美国家具企业向我们发难了.他们向美国商务部提出对中国家具企业反倾销诉讼,美国商务部近日派出的家具反倾销核查组已经抵达广东东莞,他们的下一站就是深圳,而深圳协会对此全
具有奇异系数的抛物方程是近年来在核物理、气体动力学、流体力学、边界层理论、非线性场和光学等实际问题中提出的一类重要方程,数值分析和求解该类方程具有重要意义。而有限