随着电子信息技术和计算机视觉技术的不断发展,智能设备,如智能手机、无人驾驶汽车、智能家居设备、智能穿戴设备、VR/AR设备等开始不断的走入人们的日常生活,并为大众的所关注。其中智能手机、笔记本电脑等设备已经称为人们生活中不可或缺的一个工具,与人们的日常生活紧密联系,而如智能穿戴、智能家居等设备也即将在人们的生活中扮演越来越重要的角色,特别需要关注的是无人驾驶技术最近几年的高速发展,或许不远的未来人类日常交通出行方式会因此而发生翻天覆地的变化。对于诸如此类的智能设备而言,一个核心应用功能就是实现对周围环境、目标物体等场景下的多视角三维重建,而本文的目的是研究基于智能设备搭载的双目视觉相机与IMU传感器实现的三维重建算法中的关键技术。本文围绕双目视觉信息和IMU信息融合的SLAM算法和双目立体匹配算法这两个问题,在现有研究的基础上,优化改进这两项技术并实现了基于智能设备的三维重建系统。主要的工作包括以下几点:一是融合IMU的双目视觉SLAM算法。SLAM算法是整个三维重建的基础,为后续部分提供了关键帧以及关键帧位姿。本文在传统的双目视觉SLAM的基础上,改进了其中视觉里程计的特征匹配策略,同时使用非线性优化的方法融合预积分处理后的IMU信息和是视觉信息,最后改进了关键帧筛选策略并基于此进行后端优化。二是立体匹配算法的研究与改进。立体匹配算法可以通过立体校正过的图像对生成视差图,并转换成深度图。本文在比较了各种立体匹配算法的性能后,综合考虑计算效率和精度,改进了基于跨尺度引导滤波的局部立体匹配算法。融合AD和Census变换作为代价计算方法,然后采用跨尺度的引导滤波进行代价聚合,接着将视差计算和视差优化相结合。在WTA算法的基础上引入视差判别机制,即通过制定一个判断准则判断图像中每一个像素点的最小聚合代价对应的视差值是否可靠,对不可靠像素点构建基于梯度相似性的自适应窗口,并基于自适应窗口优化该像素点对应的视差值,最后输出优化后的视差图。三是实现了三维重建系统。结合关键帧对于的点云图以及关键帧轨迹生成连续稠密的点云地图。在开源的标准数据集和实际场景下对该系统进行了验证。