基于蒸馏迁移网络的无监督图像分类方法研究

来源 :武汉理工大学 | 被引量 : 0次 | 上传用户:xuelun2003
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着智能监控,自动驾驶等计算机视觉应用的普及,图像分类作为这类应用的底层支持,近几年来获得了快速的发展。然而在现实生活及生产活动中,获取的图像大部分都是没有标签的,由于传统图像分类方法无法处理互联网级别的无标签数据,无监督域适应技术的提出很好地解决了这一问题。深度迁移网络作为无监督域适应领域最新的技术成果之一,成功地将深度神经网络在特征提取上的优势与域适应技术在分布匹配上的能力相结合,通过匹配源域与目标域之间的深层特征,相比传统域适应技术大幅地提高了分类准确率。然而,深度迁移网络由于其复杂的网络结构,在迁移训练过程中噪声数据产生的复杂关系易导致网络模型过拟合。通常源数据集和目标数据集之间存在较大差异,使用标准dropout难以确定模型参数缩放的最优尺度。而且深度迁移网络在域迁移训练时缺乏足够的泛化能力,虽然使用类别概率向量作为训练的软目标,但还是会偏向于正确类别的概率匹配而忽略类别间的相似信息,影响最终模型的匹配性能。本文在深度迁移网络的基础上进一步实现了蒸馏迁移网络,其主要改进部分为在条件分布匹配阶段嵌入蒸馏操作,蒸馏的主要原理是随着温度参数的增加,会使类别间概率向量分布更均匀,提升弱势类别概率对模型训练的影响力。然后将不同温度蒸馏出来的类别相似性信息进行融合,作为条件分布匹配的优化目标。由此得到的模型具备匹配源域与目标域之间底层特征分布的能力,进一步提升对无标签目标数据的分类性能。为了解决域迁移时过拟合的问题,本文引入多尺度融合dropout技术,其原理是预先训练若干组不同尺度的网络模型,使用遗传算法模拟最优门控变量集,获取每个模型的最优尺度。使用最优尺度对对应的网络参数进行缩小,得到预测子模型,将预测子模型按训练好的权重进行融合得到最终预测模型。相比传统dropout,多尺度融合dropout能够综合各个尺度提供的特征信息,使输出的预测结果可靠性更好。本文将多尺度融合dropout应用于蒸馏迁移网络,不仅体现了多尺度融合dropout在迁移网络结构中的适用性,而且有效地提升了蒸馏迁移网络抑制过拟合的能力。将整合后的模型在标准数据集上进行试验,在MNIST/USPS,SVHN/MNIST和CIFAR-10/CIFAR-100 3组数据集上的准确率相比深度迁移网络分别提升了0.72%,1.19%和3.18%,证明了本文改进的有效性。
其他文献
一、引言海洋地质学是研究海底的物质组成、地质构造和演化规律的学科。研究内容涉及海岸与海底的地形、海洋沉积物、海底构造、海洋地质历史和海底矿产资源等。它是地质学的
会议
共轭烯炔是重要的化工中间体,被广泛应用为天然产物、药物分子以及功能材料的合成前体,具有重要研究意义及合成价值。迄今为止,研究者们已经开发了大量的反应体系用于合成1,3
针对多输出极限学习机(MELM)分类模型输入层权值和阈值随机选取导致的分类精度波动问题,提出一种基于改进花朵授粉算法(ACFPA)的极限学习机多分类模型(CSACFPA-MELM)。首先对于花朵授粉算法,利用基于反向学习的Tent映射优化初始配子位置,在全局搜索中以小概率变异引入Tent混沌搜索,在局部搜索中添加自适应算子,将切换概率p转化成迭代次数的函数。其次,构造一种基于代价敏感的适应度函数,
土地覆被/土地利用变化是全球环境变化的重要影响因素,研究土地覆被/土地利用变化可以了解全球环境变化情况。随着遥感技术的蓬勃发展和广泛应用,以及国产卫星发射数量的不断
Rootkit恶意代码兼具隐蔽性强,危险性高,变化复杂等特点,可对Linux内核空间造成严重危害,因此在操作系统安全领域研究中,针对Rootkit的相关检测及安全防护的重要性不言而喻。在内核级Rootkit对Linux操作系统展开攻击的多种手段的研究中发现,借助可加载内核模块去利用系统调用攻击内核函数是一大难点。内核级Rootkit通过修改用户空间代码以可加载内核模块方式获取系统调用表的地址指针,
近年来,智能技术的巨大进步已经极大地促进了移动设备的应用,同时带来了海量的无线连接和数据流量。然而,移动设备灵活且独立的特点都决定了其计算能力受到严重的限制,这已经严重制约了移动设备处理大规模计算任务的能力。为了解决这个问题,研究者们提出了一种名为移动边缘计算(mobileedgecomputing,MEC)的技术。作为云计算技术到网络边缘的延伸,移动边缘技术已经成为给移动设备提供强大计算和存储能
社交网络关系的应用领域和应用场景广泛,分析和可视化形式多样。现有的社交网络可视化形式关注于网络结构中的节点和链接的变化,关注角度较为单一,大多是可视化一个组织内部
随着5G普及率的不断提高,对5G室内覆盖的要求也越来越高,但是室外宏基站已经难以满足5G室内覆盖在带宽、同步、时延这三方面的要求。因此本文提出了基于广电双向接入网的5G室
《资治通鉴》对惠帝高后年间史事的记载,是尊重历史史实的信史。司马光通过对惠帝高后年间史料的汇编、对不同来源史料的整理与考证,获得了最接近史实的史料,为其编撰惠帝高后年间史事提供了可靠的史料。《通鉴》所载事实大部分与史籍记载一致,且无异议;然仍有部分史事记载值得商榷。一方面,若史籍记载有差异,为使《通鉴》所载史事最大限度的尊重史实,司马光针对具体情况作出相应处理:当史籍记载相左时,通常采用多种史料相
花朵授粉算法是模拟开花植物过程的启发式算法,其特征表现为操作简便、鲁棒性强、搜索速度快、精度高和适用性强,在优化选择领域被广泛应用。但随着处理数据规模的大量增加,存在收敛速度慢、局部深度搜索能力弱、不易跳出局部最优、全局搜索能力弱的问题。针对上述问题,提出一种基于混合蛙跳和中心随机替换的改进花朵授粉算法。首先,改进混合蛙跳算法,通过较好个体的平均值调整最差个体的位置,提高算法的局部深度搜索的能力;