基于图神经网络的小样本学习方法研究

来源 :东南大学 | 被引量 : 0次 | 上传用户:leaffan1985
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
小样本学习拥有从少量样本中学习和概括的能力,是机器学习发展出的一个新的子领域。图神经网络通过消息传递迭代地进行邻域特征聚合,可以表示数据之间的复杂交互。由于小样本学习需要充分利用有限样本之间的关系,所以图神经网络很自然地有能力解决小样本学习问题。本文围绕基于图神经网络的小样本学习模型展开研究,分析信息传播所考虑的节点和边特征,研究图结构和高阶信息对模型性能的影响。本文的主要工作如下:首先,介绍了小样本学习的概念和基本模型,对比讨论了基于多任务学习、嵌入学习以及生成建模等三种经典小样本学习模型的实现原理、优缺点以及适用场景,最后研究了元学习策略在小样本分类识别中的应用,为后续研究和改进奠定了基础。其次,研究了图神经网络的基本结构以及图卷积网络和图注意力网络的原理,在此基础上研究了三种基于图神经网络的小样本学习模型,其中基于图卷积网络的模型首次将图神经网络应用到小样本学习中,基于边标签图神经网络的模型结合节点信息和边信息进行信息传播以及特征更新,基于传导传播网络的模型提出传导机制用于少样本学习,将传导传播网络用于元学习框架实现端到端的学习。之后分析和总结了这些模型的原理和实验结果,明确了后续研究将围绕着图上高级信息的利用以及图结构的优化展开。然后,引入模糊理论解释图神经网络中节点之间的关系,并根据模糊理论中的隶属函数指导边丢弃来进行图裁剪。再将此图裁剪策略应用到图神经网络中,提出了基于模糊理论的动态图神经网络,解决了训练过程中的过拟合问题。在网络上的每一层根据所设计的的隶属函数对图上的边特征进行有选择地丢弃或者增强,从而在关系模糊的样本中生成更合理的关系表示。在小样本基准数据集mini Image Net和tiered Image Net上,基于模糊理论的动态图神经网络模型的分类精确度一致优于包括基于度量、梯度下降和图神经网络的经典小样本分类方法,在tiered Image Net数据集的5-way 1-shot任务中取得了最好的性能提升,与次优的LEO模型相比分类精确度提高了2.04%。最后,基于嵌入传播网络和边标签图神经网络的信息传播机制,结合流形平滑和高阶信息传播的思想,提出了基于流形学习和高阶图神经网络的小样本学习模型,解决了由分布偏移导致的泛化性能问题。模型将嵌入传播作为一个无监督的非参数正则化器,利用基于相似图的神经网络提取特征之间的插值,通过扩展决策边界和减少类别表示的噪声来解决分布偏移问题,不仅考虑了节点特征间的相似度和不相似度,还考虑了高阶节点特征在信息传播中的影响。在不同设置下的小样本任务的两个基准数据集上,基于流形学习和高阶图神经网络的小样本学习模型的表现一致优于基于经典图神经网络的小样本学习模型,在tiered Image Net数据集的5-way 1-shot任务中取得了最好的性能提升,与TPN模型相比分类精确度提高了14.73%。
其他文献
随着全国各地城镇化建设进程的不断加快,农村层面可以支配的资源日渐增多,与此同时,农村干部手中的权力也在明显增强。因此,构建起一整套村干部“微权力”监督制度,打通全面从严治党在农村基层的“最后一公里”显得尤为急迫。本文首先分析了农村基层党组织、村干部“微权力”、农村基层社会治理、村干部“微权力”监督制度的定义和内容。在此基础上,本文以江苏省泗阳县(以下简称S县)为对象,研究了村干部队伍及治理体系现状
超材料是一种亚波长尺寸的人工复合结构,其电磁特性来源于单元结构和排列方式,具有许多优异的物理特性,例如负折射率、负反射等。利用超材料对电磁波进行调控是电磁学领域一个经久不衰的课题,包括对电磁波振幅、相位、极化等特性的调控。数字编码超材料和可编程超材料概念的提出进一步简化了超材料调控的方式,可通过数字调控来实现对反射波振幅、波束偏折、极化的控制。从编码超材料以及多频多功能调控的角度出发,本文循序渐进
近年来以综合交通枢纽为节点的联程客运服务在我国蓬勃发展。空港枢纽作为重要的旅客集散地和经济活动场所,推动着“空铁联运”和“空巴联运”两种联程客运模式不断发展,其中“空巴联运”凭借其高度的组织便捷性和运营灵活度日趋主流。我国目前的空巴联运服务尚处于初级阶段,而随着移动互联网的快速发展,“互联网+”的概念面向交通,国际上提出“出行即服务”(Mobility as a Service,简称MaaS)理念
机器人取放任务是目前人工智能与机器人领域融合最紧密的研究热点之一。传统的取放任务主要是在强结构化环境下利用人工示教的方式设计机器人的抓取和放置动作轨迹来完成点到点的物体取放任务,该方式不具有适应环境和物体变化的能力,灵活性较差。此外,传统方法取放空间必须局限于机器人工作空间内部,导致取放空间严重受限,取放效率较低。近年来,尽管基于深度学习的取放方法对于场景和物体的变化具有一定的适应能力,然而网络训
在政府文化部门的实践中,公共文化服务的社会参与是主要方向之一。无锡承担了第二批国家公共文化服务体系示范区创建工作,探索具有社会参与特色的现代公共文化服务体系。本文分析了无锡市社会力量参与公共文化服务体系建设的基本情况,对当地公共文化服务体系、社会力量进行剖析,总结鼓励社会参与的公共文化政策制定经验,通过创新案例分析、公共文化服务满意度与需求调查,阐述实践中发现的问题并分析原因,如政府文化职能转变急
随着老龄化社会问题的出现,养老问题逐步受到高度重视,老年人养老的首选不是冰冷的养老机构,而是拥有熟悉氛围的社区,这导致康养社区、养老社区这些应运而生的新生社区类型受到大家的追捧。但目前养老社区的设计重点多放在室内功能空间,忽视了对室外活动空间以及自然资源康复功能的利用。如何充分利用现有景观资源、让景观专业与建筑专业配合融洽,将适老化设计、社区养老模式落到实处尚处在探索阶段。本文引入建筑景观一体化的
面对未来通信中海量连接与高速传输的巨大挑战,在如今逐渐放缓的硬件摩尔定律的大背景下,无线通信中的基带信号处理算法与高效硬件实现的联合优化与协同设计变得迫在眉睫。其一是由于设备的小型化与海量传感元件连接无线网络,要求基带处理系统具有更小的面积与功耗;其二是因为以硅为半导体材料的硬件工艺难以提升,使得基带处理系统无法冀于硬件制造工艺的进步而直观性地获得性能提升,两方的压力都促使下一代移动通信系统需要站
“互联网+政务服务”既是我国政府自我革新的一项重大工程,也是推动社会进步发展、实现人民群众幸福生活的一项重要举措。自2016年国务院印发《关于加快推进“互联网+政务服务”工作的指导意见》以来,各级政府聚焦“互联网+政务服务”目标方向,创新服务模式、拓宽服务渠道、开放政务资源,不断提升政务服务供给质量和效率。但是,考察我国“互联网+政务服务”发展现状,对于供给公平性的研究较少,在具体实践中也一定程度
未来移动通信网络应用对系统的时延、频谱效率、QoS、系统可靠性等指标都有着很高的要求。为了满足这些要求,第五代蜂窝移动通信系统(the 5th Generation Cellular Mobile Communication System,5G)引入了多输入多输出系统(MIMO)、毫米波以及超密集异构网络等技术。近年来随着以深度学习为代表的人工智能技术的兴起,学界对深度学习技术在传统移动通信领域的
研究背景与目的:肺癌是目前世界上发病率最高的癌症之一,每年死亡人数已居所有肿瘤之首。在中国肺癌也成为21世纪以来最致命的恶性肿瘤,开展肺癌的早诊早治是改善患者生存、降低肺癌死亡率的重要措施。本研究是为了了解中国人群低剂量CT筛查的肺癌检出率;并且对我国的早期肺癌低剂量CT筛查项目进行卫生经济学评价和成本效用研究,为制定适合中国的肺癌低剂量CT筛查方案提供科学依据。研究内容与方法:(1)基于系统综述