基于卷积神经网络的杂乱场景下零件分割

来源 :青岛理工大学 | 被引量 : 0次 | 上传用户:cumt12791
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
为了适应工业生产自动化的形势,工业机器人广泛地应用于分拣作业,针对分拣作业中目标物体堆叠严重,传统检测和分割算法精度较低等研究问题,提出了一种基于卷积神经网络的杂乱场景下零件分割方法。深入研究了语义分割和实例分割算法,搭建和训练了图像分割的网络模型,对杂乱场景中零件进行分割,为后续零件抓取工作打下基础。同时,针对基于卷积神经网络的分割算法需要高质量数据集的问题,研究了三维仿真技术和物理引擎,提出基于Open Scene Graph(OSG)和Bullet的虚拟数据集构建方法。本文主要工作如下:(1)设计了杂乱场景零件虚拟数据集的构建方案。基于卷积神经网络的图像分割需要高质量数据集,考虑到现有公共数据集在机械零件领域的匮乏,同时为避免人工繁琐的标注,提出一种基于Open Scene Graph和Bullet的虚拟数据集构建方法,建立杂乱场景训练集合成系统生成虚拟图像用于训练。首先利用Solidworks建立零件模型,并通过3Dmax赋予各零件模型不同的材质信息,然后利用三维图形库Open Scene Graph和物理引擎Bullet建立虚拟杂乱场景,最后通过视口渲染的方式生成虚拟图像。(2)研究了基于深度学习的杂乱场景零件语义分割方法。首先,对目前主流的语义分割模型Deep Lab V3、Deep Lab V3+、PSPNet以及Refine Net进行了研究和分析;然后建立杂乱场景零件虚拟数据集对语义分割模型进行训练和测试,对比分析了测试结果;最后,针对语义分割模型上采样操作带来的特征信息丢失问题,利用全连接条件随机场(CRF)图像后处理模块去细化图像分割的结果。(3)研究了基于深度学习的杂乱场景零件实例分割算法。针对语义分割模型难以对堆叠同种类零件分割的问题,提出一种基于Mask RCNN和虚拟数据集的杂乱场景零件实例分割方法。首先,对模型进行了搭建,将实例分割模型Mask RCNN划分为主干网络、区域候选网络、网络输出三个模块;然后建立了三种同种类零件虚拟数据集,利用采用迁移学习中微调的方法对模型进行训练;其次,利用虚拟图像对模型划分模块的合理性进行了可视化分析;最后,利用Kinect相机采集的真实图像对模型进行测试,分析了不同构成的数据集对模型训练的影响。(4)研究了基于深度学习的杂乱场景全景分割算法。将语义分割模型和实例分割模型相结合,搭建全景分割网络。首先,利用杂乱场景训练集合成系统构建虚拟数据集,Kinect相机采集图像构建真实数据集,针对Kinect相机采集的深度图像带有空洞和噪音点的问题,利用快速行进算法FFM对深度图像进行修复;然后搭建全景分割网络模型,采用虚拟数据集用于预训练,少量真实数据集微调的训练策略;最后利用真实数据集进行测试。实验结果表明,本文搭建的模型可以对杂乱场景中目标物体和背景进行较好的分割。
其他文献
Magnéli亚氧化钛材料是一系列非化学计量式钛氧化物的统称,其通式为TinO2n-1(4≤n≤10),这一类化合物具有较高的电导率并且在腐蚀性介质中具有非常高的化学稳定性,其中拥有高导电率(1500 S cm-1)、高析氧电位、耐腐蚀等优点的Magnéli相Ti4O7在电催化领域引起了广泛关注。Ti4O7电催化活性膜具有非常高的电化学活性表面积,能够增强电化学过程中的传质效率,并利用其表面产生的
冷热电三联供系统作为可以有效提高能源利用率的用能形式,近些年来凭借其节能环保的优势得到了快速发展。刚出台的国家“十四五”规划中明确提出要加快我国中东部地区的分布式能源系统构建,冷热电三联供系统作为高效的分布式能源系统未来也必将得到更充分地发展。但是目前针对冷热电三联供系统的评价及优化目标大多是以热力学第一定律为基础进行的,基于热力学第二定律尤其是针对系统熵分析的研究相对较少而且这些研究中都是对系统
并发程序执行具有不确定性,交错空间大,导致并发缺陷难以检测。线性一致性是并发对象正确性的标准之一,而检测线性化通常需要在指数增长的执行迹空间中搜索对应的抽象规范。针对此问题提出使用共享内存访问模式对线性一致性验证的过程进行加速。主要思想是通过少量并发对象细粒度的执行迹与线性一致性的抽象迹的对应关系,自动提取内存访问模式。内存访问模式是细粒度的共享内存访问序列与抽象规范序列的对应关系,对待检测的细粒
当前,边坡稳定可靠度分析及风险评价中仍然以边坡起始滑动面面积来量化边坡失稳后果,这是因为传统的刚体极限平衡法,基于固定网格的有限元强度折减法只能模拟边坡失稳起始时刻的状态,而无法对滑坡大变形全过程进行合理的模拟。为克服上述缺陷,本文将光滑粒子流体动力学(SPH)方法应用于边坡可靠度分析和风险评价领域,提出了基于蒙特卡洛模拟的随机LEM-SPH方法,对于典型算例的分析与比较,验证了本文方法的有效性,
液晶显示器(Liquid Crystal Display,LCD)具有辐射小、能耗低、画质质量佳等诸多优点,已在计算机、文化娱乐、广告传媒和工业控制等领域得到了广泛的应用。液晶显示器主要由液晶面板和背光模组(Backlight Module,BLM)组成,其中背光模组为液晶显示器提供光源。背光模组中核心的部件为导光板(Light Guide Plate,LGP),导光板对液晶显示器的显示质量有重要
混凝土由于其原材料丰富易获取、价格低廉、抗压强度高、可塑性和耐久性能好等特点迅速成为了建筑领域最广泛使用的建筑材料。人们对施工水平提出了更高要求,也对强度提出了更高的要求。强度作为混凝土最重要的力学性能,它对混凝土结构的质量起着关键作用。而水灰比对混凝土的强度有着重要的影响。如果可以知道混凝土的水灰比和强度这两个评价结构质量的重要指标,就可以及时准确判断混凝土的质量。这有利于人们提早发现问题并及时
水泥基材料被广泛地应用于土木工程领域,是用量最大的建筑材料之一。在荷载和环境因素的作用下,水泥基材料会出现表面剥落、内部开裂等劣化问题,严重影响结构的安全和耐久性。为了延长结构的使用寿命,常在受损水泥基材料表面涂抹修补砂浆进行补强加固。新拌砂浆作为修补材料浇筑在旧砂浆上后,在毛细力等作用驱动下水分由新拌砂浆向旧砂浆迁移,导致新拌砂浆含水量发生变化,进而影响其水化过程、微观结构、水力学特性及界面粘结
随着人类生产效率和生活质量的不断提高,人类以及动植物的数量正在不断接近自然界的环境负荷量,自然资源的保护与高效利用也引起了越来越多的重视。城市污水处理厂是人类影响水环境质量的关键环节,其运行效率和尾水质量受到越来越多的重视。部分污水处理厂为了满足日益严格的污水排放标准,采用远超于实际所需量的能耗和药耗来换取水质的稳定达标,造成资源和投资的大量浪费,也给后续处理和回用带来不便。将智能化技术应用于污水
近年来,国家在建设项目中优先推广应用钢结构装配式住宅,因其组合柱结构尺寸面积小可灵活布置在住宅中,在工程中具有良好的应用价值和提高社会经济效益。本文采用由中心及端部方钢管、缀板、混凝土组成的L形缀板式钢管混凝土组合柱进行框架抗震耗能能力分析,主要研究内容如下:为研究缀板式钢管混凝土组合柱抗震性能,制作并完成了两榀1/2缩尺比例的框架试件拟静力试验,两榀框架分别为格构式组合柱(缀板沿柱身等距布置,总
岩溶管道中发育的溶潭结构常导致野外穿透曲线的拖尾,管道长度对穿透曲线也有显著影响,溶潭和管道长度对岩溶管道溶质运移的影响研究对野外穿透曲线的正确认识以及岩溶管道溶质运移的预测具有重要意义。虽然前期研究已经探讨了溶潭形态对岩溶管道溶质运移的影响,溶潭容积和管道长度对岩溶管道溶质运移的影响仍缺乏认识。本文将岩溶管道和溶潭结构概化为PVC圆管和水箱,设计不同尺寸、不同个数的水箱和不同管道长度,开展了室内