基于无人机平台的球面图像分类与目标检测研究

来源 :西南大学 | 被引量 : 0次 | 上传用户:xyw6623
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,在全球“工业4.0”、“中国制造2025”等市场背景的推动下,以模拟人类视觉实现物体识别、目标跟踪、目标检测等任务的机器视觉技术得到了大量的应用,其涵盖了军事、医药、工业、航空航天等科学研究领域。其中,基于无人机平台的航拍系统作为一种全新的机器视觉方案近年来逐渐受到人们的广泛关注,因为通过无人机和相机的组合可以充分发挥无人机灵活度高、环境适应性强等优势进而实现即时高效的诸如目标识别、检测等视觉任务。值得注意的是目前绝大多数的机载相机方案都是采用传统透视相机作为成像平台,受到固有视角范围的限制,其不可避免地会存在视角盲区,这对于军事、监控、自动驾驶等对环境信息准确性、全面性要求极高的领域可能会带来不可估量的损失。因此,本文提出了一种利用具有360°视角鱼眼球面相机代替配备传统光学镜头平面相机的无人机机器视觉方案。该方案充分发挥了鱼眼镜头超大视角的优势,成像方面相较于传统相机拍摄的图像可以包含更多的数据信息,同时图像合成方面相较于多平面镜头图像的拼接简化了大量数据的采集和避免了大量硬件资源的使用,具有广泛的应用场景。虽然采用鱼眼球面相机获得了更广泛的视角范围,但同时也不可避免地引入了图像的畸变与失真。所以本文从搭载球面相机的无人机机器视觉平台出发,基于鱼眼图像的畸变处理方法和深度学习技术对无人机平台下球面图像分类与目标检测做出了相关研究,主要包括以下工作:(1)本文首先介绍了传统透视镜头和鱼眼镜头的成像原理及其对应的光学模型,同时详细说明了鱼眼镜头成像的投影模型并通过传统相机图像和鱼眼镜头图像的对比分析了鱼眼镜头畸变失真的原因以及传统的校正方法。此外,为实现基于“无人机+360°全景相机”的图像分类和目标检测,本文还对神经网络的基础理论进行了相应的介绍,着重分析了卷积神经网络(Convolutional neural network,CNN)在图像处理方面的原理及应用并就CNN发展历程中经典的网络模型特点进行了分析总结。(2)为了进行基于无人机平台的球面机器视觉相关研究,本文利用中科浩电的E360系列多旋翼无人机以及理光的高清鱼眼摄像机THETA V等设备搭建了相应的无人机球面视觉硬件平台。基于该平台,本文在西南大学范围内建立了一个用于场景分类的球面全景数据集SWU-classify,其中主要包括学校东方红会议厅、校史馆、体育馆、半月楼等标志性地点。利用建立的数据集,本文分析了机载球面镜头成像方案存在的一些问题并提出了相应的图像预处理方案。此外,本文还提出了一种基于离散球面图像特征的场景分类方法并与已有的球面图像投影方式作了相应比较(应用VGG、ResNet以及EfficientNet于等距表示的全景图像),分析了算法在噪声和图像旋转(无人机震动引起)下的性能表现。(3)除了对“无人机+360°全景相机”在场景分类任务中的相关探索,本文还基于无人机平台建立了 一个用于目标检测的球面全景图像数据集SWU-detect并进行了相关的目标检测任务研究。首先本文就two-stage的Faster R-CNN和one-stage的SSD目标检测算法分析了其在球面图像目标检测中的表现,其次本文还分析了目前综合性能最好的YOLOv5算法在相应检测任务中的表现,特别地,考虑到球面图像平面表示方式引入的几何畸变,本文基于可变形卷积对YOLOv5算法进行了相应的改进,仿真结果表明本文所提出的改进方案在应用于存在几何畸变失真的目标检测任务中有不错的优化效果。
其他文献
个人信息作为可以识别特定自然人的资料,兼具人格权和财产权的双重属性,个人信息的人格权属性要求保障个人信息主体权益,而个人信息的财产权属性则需要个人信息自由流动,最大限度地利用个人信息的经济价值。在数字经济时代背景下,商事交易的国际化使得个人信息跨境流动愈加频繁,个人信息所承载的经济价值得到充分利用,个人信息所承载的个人信息主体权益保障与国家信息安全等问题越来越不可控,为个人信息跨境流动相关立法带来
2019年11月,《清華大學藏戰國竹簡(玖)》正式公布,共收録了不見於傳世典籍的五篇戰國文獻,其中《成人》篇主要記録了“成人”對“王”講述國家法律法治的相關内容,與傳世文獻《尚書·吕刑》關係密切,對於研究先秦法律思想具有很高的價值。本文以《成人》爲研究對象,在竹簡圖像、初刊釋文和學界相關意見的基礎上,對整理者釋文作了重新整理,并嘗試給出自己的見解和看法,爲後續研究提供參考。全文由凡例、引書簡稱表、
在《刑法修正案(十一)》对骗取贷款罪予以修订前,关于提供真实足额担保骗取贷款行为的定性问题,理论和实务尚有诸多争议。而《刑法修正案(十一)》删除了原骗取贷款罪基本犯中的“或者有其他严重情节”,保留了原有加重犯中的“或者有其他特别严重情节”。此举提高了骗取贷款罪的入罪门槛,同时也催生了关于提供真实足额担保骗取贷款是否构成骗取贷款罪的新问题。以上新旧问题主要包括:《最高人民检察院、公安部关于公安机关管
《廣韻聲系》(以下簡稱《聲系》)是由沈兼士主編的一部漢語諧聲譜,對《廣韻》中的諧聲體系進行了較爲嚴密的分析。該書以四十一聲類爲綱,依次羅列《廣韻》各字,梳理整合漢字諧聲材料,建立了以《廣韻》爲主的漢語言文字諧聲系統,爲文字學、音韻學、訓詁學等各方面研究提供了便利。但因編纂時古文字研究水平有限,《聲系》難免存在一些不足。本文主要利用甲骨文、金文、簡牘帛書等出土材料和古文字研究的最新成果,對《聲系》鈍
以往学术界对法外空间的主要争议在于是否承认该空间的存在或是否有意义。考夫曼的法外空间说并非讨论以上问题,而是对两个重点命题进行阐述:第一,将法外空间说运用于解决刑事边缘案例是适当的;第二,法外空间说能够在其他领域发挥更大价值。针对刑法中难以用“合法”与“违法”解决的疑难问题,法外空间说的处理办法是保留而不作评价,该学说目的在于解决悲剧案件中的个案正义难题,为相关案例提供新的解决路径。同时,法外空间
铜绿假单胞菌(Pseudomonas aeruginosa,P.a),又称绿脓杆菌,是一种常见的人畜共患条件性致病菌。在饲养管理不当、环境恶劣、注射疫苗等一系列应激下,P.a在兽医临床的分离率呈现逐年上升趋势。该菌对多种抗生素耐药,究其原因主要是极易形成生物被膜(biofilm,BF),也常作为生物被膜研究的模式菌株。抗微生物肽(Antibacterial peptides,AMPs)一般由5-1
球孢白僵菌(Beauveria bassiana)是一种重要的昆虫病原真菌,其分生孢子为圆形,菌落颜色一般为白色,可制作成真菌孢子制剂用于害虫防治。体壁穿透是球孢白僵菌侵染昆虫的主要途径。昆虫体壁主要由蛋白质和几丁质组成,蛋白质占大多数并且将几丁质包裹在内。在球孢白僵菌侵染昆虫的过程中蛋白酶发挥着至关重要的作用,目前已知丝氨酸蛋白酶枯草芽杆菌类蛋白酶Pr1和胰蛋白酶类Pr2对昆虫表皮具有降解作用。
海子是20世纪80年代后期新诗潮的代表人物,是中国当代文学史上一位全力冲击文学与生命极限的诗人。海子的诗歌蕴含着比较超前的元素意象与文化内涵,其诗歌作品一直是现当代文学关注、研究的对象,但少有人关注以海子诗歌作词的歌曲作品。自20世纪90年代以来,海子有一定数量的诗作被谱曲传唱,诗歌内部丰富的阐释空间为音乐创作提供了可能,在价值多元、文化多元的年代,诗歌到歌曲身份的转变也是海子诗歌得到时代认同的一
当今社会,随着科学技术的不断发展与进步,神经动力学算法被广泛应用于信号处理、最优控制、压缩感知以及机器学习等多个领域。神经动力学算法的优势在于并行信息处理和硬件的可实现性,被大量国内外学者用于研究优化问题。压缩感知问题便是其中之一,压缩感知是一种不受Nyquist采样定理制约的信号采样技术。本文主要研究基于固定时间稳定的神经动力学算法在非线性投影方程和压缩感知中的应用。(1)针对求解一种广义非线性
蜘蛛丝是一种性能优越的天然蛋白质纤维,受限于蜘蛛极强的领地意识和同类相食的天性,蜘蛛无法像蚕一样进行大规模饲养。因此,越来越多的科学家尝试用新的方法来人工仿制出性能接近蜘蛛丝的纤维。其中将蜘蛛丝蛋白基因转至家蚕的体内,以使该蚕种能够吐出含有蜘蛛丝蛋白的新型蚕丝这一方法最具开发潜力。而目前对此类含蜘蛛丝蛋白的新型蚕丝较为系统的研究主要集中在生物学方面,对其性能的研究主要集中于机械性能。很少有研究者能