论文部分内容阅读
随着多款AR产品的流行,增强现实技术在公众中引起了热烈的讨论。所谓增强现实(Augmented Reality,AR),是将虚拟信息与现实世界相结合的一种实时视图,它使得计算机生成的感知信息可以理想地跨越视觉、听觉、触觉以及体感等多种感官形式对现实世界中的元素进行增强。AR自提出后被应用到了多种领域中,其中,在儿童教育领域尤为突出。本文基于卷积神经网络(Convolutional Neural Networks,CNN)设计并实现了一个应用于移动智能手机的AR地球仪系统,旨在帮助儿童更高效地从地球仪上学习地理历史等知识。AR地球仪系统包含国家识别和AR显示两个核心模块。在国家识别模块中,本文选择了图像识别领域中最流行最高效的卷积神经网络作为识别算法,在MobileNet模型的基础上改进并设计了应用于AR地球仪系统的国家识别网络模型。改进操作是在深度可分解卷积操作之后对Feature map进行分组合并,既能组合特征,同时可以减少训练参数,降低模型复杂度。本文在自己构建的数据集上进行了本文模型与多个经典卷积神经网络模型的对比实验,结果显示本文提出的模型获得了较高的99.077%的识别准确率,仅次于ResNet的99.599%,并且具有最小的模型尺寸,仅0.352MB,以及最少的训练参数,共87069个。另一组对比实验表明本文提出的改进操作确实在识别准确率、模型尺寸和训练参数三个方面都有一定幅度的优化效果。在AR显示模块中,为了弥补目前市面上的AR地球仪的不足,本文使用基于自然特征的三维注册方法替代基于标识的方法,使得系统可以应用于多款教学地球仪,具有一定的通用性。具体三维注册过程使用ORB算法对输入图像和模板图像进行特征检测和匹配,获得一定的匹配点对,并利用这些点对计算输入图像和模板图像之间的单应性关系,进而计算出摄像机的外参数矩阵,再结合摄像机的内参数矩阵构建投影模型来确定虚拟模型投影到现实场景中的正确位置,最后利用虚实融合技术将三维虚拟物体渲染在真实场景中。开发过程中使用OpenCV实现三维注册,3ds Max制作三维虚拟模型,Unity3D实现虚实融合,并以Unity3D作为集成开发环境导出Android和IOS安装程序。