基于高斯分布的正交分解分类损失函数的研究

来源 :天津大学 | 被引量 : 0次 | 上传用户:yulingjie2006
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,深度神经网络取得了突破性的进展,如今在生活中的各个领域都得到了广泛的应用,比如图像分类识别、人脸识别、语音识别等。随着对网络结构和损失函数的不断优化,深度神经网络显著的改善了各种复杂的分类任务的性能。损失函数是深度学习中不可或缺的一部分,而对于不同的任务,有各种各样的损失函数,如MSE,BCE等。关于损失函数的性能有很多研究。一个好的损失函数理论上应该能够使得数据集中相同类别的特征的分布更加紧凑,不同类别的特征的分布更加分离。本文提出了一种新的用于分类任务的损失函数,即基于高斯分布的正交分解损失函数。Center loss、contrastive loss等大多数现有方法会在训练过程中动态确定样本特征的收敛方向。相比之下,基于高斯分布的正交分解损失函数将收敛方向分解为两个相互正交的分量,即切向方向和径向方向,并对它们分别进行优化。从理论上讲,这两个组件分别影响样本特征分布的类间分离性和类内紧凑性。因此,分别最小化它们的损失可以避免在优化过程中彼此间的影响从而获得更稳定的收敛中心。此外,本文假设这两个分量都遵循高斯分布,高斯分布已经被证明是通过准确为训练特征建模,从而提高分类效果的有效方式。MNIST,CIFAR和Image Net等多个分类实验证明了基于高斯分布的正交分解损失函数的有效性。本文的研究工作主要从以下五个方面展开:(1)本文提出了一个新的优化思想,该优化思想从收敛方向的角度考虑优化问题。(2)本文分解了收敛方向,将其正交分解为径向方向和切向方向两个部分,并且分别对它们进行优化。(3)本文解耦了提取的特征的方向和模长,从而避免了在优化过程中,这两者产生的相互影响。(4)本文使用被提取的特征的方向和模长,来分别规划特征分布的类间分离性和类内紧凑性。(5)本文使用高斯分布来指导被提取的特征在方向和模长上的优化过程。
其他文献
水下传感器网络如今已经被广泛地应用于海洋监测、开发和探索。水下传感器网络采用声波进行数据传输,水声信道的误码率较高、传播速度低、时延大、衰减严重,且网络拓扑时刻在动态变化。由于传感器节点被部署在广泛的水体中,所以很难对容量有限的电池进行补充和更换。在数据包的路由过程中,对网络空洞问题的处理方式,直接影响到水下网络的吞吐量、及时性和健壮性。目前,已经有很多的水下传感器网络路由协议被提出,但是它们要么
在嵌入式设备上,如何在保证运行结果准确率的情况下,提高卷积神经网络的运行速度并尽可能降低运行能量消耗,是卷积神经网络加速器设计面临的关键问题之一。同时,由于缺少统一的加速器架构和相应的软件开发环境,将卷积神经网络移植到加速器上,需要复杂的开发过程,增加了加速器使用复杂度。因此,如何将加速器性能、功耗与加速器对网络模型的通用性、适用性结合起来,是对加速器整体设计的一个考验。本文提出了一种面向卷积神经
知识图谱是由实体和关系组成的有向图,图中的节点表示现实世界中的各种事物实体,图中的边表示这些事物实体之间的相互关系。但是知识图谱通常都是不完全的,会有大量的关系缺失,通过人工的方式补全这些缺失的关系,需要消耗大量的人力和时间。因此,知识表示学习被提出来,通过将实体嵌入到连续的低维向量空间中,进而实现知识图谱的自动补全。Trans E模型是谷歌提出来的第一个基于翻译的知识表示模型,它是后续所有基于翻
在经典机器学习问题中,多标记学习作为一个热门的研究内容对现实世界多义性对象的研究具有重要意义,然而在现有的多标记学习算法中都忽略了标签之间具有的不平衡性。很多时候,研究者们更关心实例对于不同标签的隶属度以及其分布情况,因此有研究将多标记数据中的逻辑标记替换成了概率分布的形式,这就得到了标记分布数据。不论是多标记数据还是标记分布数据,都面临着数据规模爆炸式增长的问题。时至今日,针对多标记数据的特征选
近年来,随着互联网技术的蓬勃发展以及文本信息的爆炸式增长,“信息过载”问题愈发严重。如何快速准确地从大量无结构的信息中抽取出用户感兴趣的信息成为当前自然语言处理领域的热点问题。因此,信息抽取技术受到的关注逐年增加。作为信息抽取中的重要子任务,事件抽取旨在从自然语言文本中抽取出指定的事件信息,并以结构化的形式存入数据库中。事件抽取任务分为两个子任务:事件检测和事件论元抽取,本课题主要聚焦于第一个子任
信度分配技术涉及确定系统组件对系统整体性能的贡献,强化学习的成功离不开信度分配技术。在多智能体强化学习领域信度分配主要是合作式环境下各智能体对全局奖励信号的分配。通过研究信度分配机制,来完善或解决合作式多智能体深度强化学习下单个智能体策略更新信号不准确的问题,从而达到提高多智能体学习效率和协作程度的目的。因此,多智能体信度分配是解决合作式多智能体协调问题的关键。然而,一方面之前的研究大多基于差异奖
目标检测是计算机视觉中常见而具有挑战性的任务,传统的目标检测分为滑窗提取候选区域,提取相关特征和对特征分类三个过程。该方法存在的缺陷有滑窗时间复杂和窗口冗余,除此之外,手动设计的特征在目标多样性上没有很好的鲁棒性。深度学习技术不断发展,目标候选区域和相关特征可以通过卷积神经网络来提取,目标检测任务变成端对端的形式。深度学习的检测算法在速度和准确性上有了很大提升。天文学领域中,检测日冕暗化(Coro
数字图像作为信息的重要载体之一,在人们的日常生活、娱乐和工作中发挥着至关重要的作用。伴随着数字图像的广泛传播,人们对数字图像进行修改的需求愈加迫切,由此出现了各种图像编辑软件,如Photoshop、美图秀秀等。尽管这些图像编辑软件给人们带来了极大的便利,但是也给了不法分子可乘之机。如果这些虚假图像被用于媒体、科研、司法等领域,势必会引起恶劣的影响。因此,数字图像取证引起了研究人员的广泛关注。图像彩
三维人脸的有效表示以及重建在计算机视觉和图形学有着广泛的应用。三维人脸的表示,即是通过一定的算法得到三维人脸的高维特征数据,重建就是从高维特征数据中能够通过算法模型重建出对应的三维人脸。大多数存在的线性表示算法并不能有效的重建出高质量的三维人脸数据,尤其是对于面部细节的处理比较粗糙,而最新的非线性表示方法不太适用于实际三维形状。三维人脸的表示和重建能够给人脸识别、机器情感表达等方向提供该技术支持,
深度学习技术在近些年来发展迅速,而使用深度学习技术开发的系统在各个领域被广泛应用并表现出优秀的能力。但是深度学习系统中可能存在一些缺陷,这些缺陷会使深度学习系统在某些输入下作出错误决策,导致严重后果。因此,深度学习系统的测试受到越来越多的关注。深度学习系统可被分为深度学习模型和深度学习库两部分,目前大部分深度学习测试的研究针对的是深度学习模型,很少有研究针对深度学习库进行测试。由于深度学习库被众多