双目立体视觉是机器视觉领域中一个研究热点,它通过直接模拟人类视觉系统的方式感知世界,在逆向工程、测试测量、文化产业、公共安全、视觉导航、地图生成、航空勘测等领域具有广泛的应用。因此,对双目立体视觉的立体匹配和三维重建中的若干问题进行研究具有一定的理论价值和十分重要的现实意义。本论文围绕着双目立体视觉系统的立体匹配和三维重建等重点与难点问题进行研究,论文的主要工作包括以下几个方面：(1)针对在立体匹配的匹配代价计算阶段,传统的SAD算法、CT算法等获得的匹配代价的质量不高。本文利用卷积神经网络能够从输入图像中抽取出具有对平移、比例缩放、倾斜或其他形式的变形具有高度不变性的特征的特点,设计了一种用于图像小块对之间的匹配代价计算的卷积神经网络(SMC-CNN)。本文利用从middlebury上带有参考视差图的立体图像对数据库,通过构造大量的正反训练实例,对本文设计的网络进行有监督的训练,然后将训练得到的网络用于图像对之间的匹配代价的计算。实验证明本文设计的SMC-CNN结构比传统的SAD算法、CT算法能够获得更加准确的视差。(2)针对本文设计的SMC-CNN在应对低纹理或有遮挡的区域并不足以获得高精度的视差,本文组合了一系列传统的立体匹配算法用于对视差的优化。本文首先采用改进的交叉基代价聚合和半全局匹配算法对前面获得的匹配代价进行优化,然后采用胜者为王的策略选择匹配代价最小的d值确定为两匹配点之间的视差,然后使用左右一致性检查解决遮挡的问题,并通过引导加权中值滤波和中值滤波对视差图进行处理,并通过对匹配代价构造二次曲线以获得亚像素精度的视差,获得了最终的视差图。实验证明,本文所组合的一系列方法大大的提高了视差图的准确性。(3)在利用三维点云数据进行曲面重建的过程中,本文采用八叉树数据结构对点云数据进行存储,利用贪婪投影三角化算法对其进行重建。实验结果显示,能够较好重建出三维立体目标。