混凝土结构和钢结构在生活中随处可见,它们在工业生产、交通运输以及建筑工程中扮演极为重要的角色。这些结构在生产制造过程中可能出现意外导致的缺陷,在服役过程中也可能会出现疲劳引起的缺陷。传统的通过人类眼睛看、耳朵听的缺陷识别方法无法满足自动化、高效率、高准确率的需求,亟需发展新的结构缺陷识别方法。近年来基于卷积神经网络（Convolutional Neural Networks,CNN）的图像处理技术取得了突破性进展,利用卷积神经网络和图像处理的交叉知识检测结构表面缺陷是当下结构状态监测和健康管理领域的研究热点。本文开展了基于图像的结构表面缺陷神经网络识别方法研究,具体工作内容如下:（1）铁路轨枕缺陷识别的边缘检测增强卷积神经网络方法为了检测轨枕图像中是否含有裂纹,我们提出了一种基于边缘检测和卷积神经网络的两阶段轨枕裂纹识别方法。第一阶段,利用3*3邻域极差算法进行边缘检测,搜索图像中可能的裂纹区域,并使用固定阈值来二值化。然后,通过一系列数学形态学操作消除部分边缘检测结果中的噪声和非裂纹目标,得到含有少量噪声、下水管、污渍等目标的二值图像。第二阶段,建立一个CNN模型来进一步识别滤波后边缘检测结果中的各个目标,并对图像是否含有裂纹做出最终判断。实验证明本文提出的3*3邻域极差算法比Sobel和Canny算法检测出的裂纹更清晰,且本文构建的CNN模型分类边缘检测结果的精度可达到95%。（2）钢板缺陷识别的卷积神经网络初检与Unet精检两阶段方法在铁路轨枕缺陷识别中我们利用边缘检测增强的CNN模型对轨枕表面的缺陷做出了精确判断,但是对缺陷在图像中的位置、缺陷的大小和形状无法做出判断。作为卷积神经网络的一种,Unet被用在许多真实的图像分割任务中并取得了良好的分割效果,它可以逐像素对结构表面图像中的缺陷进行识别,以此可得出缺陷的更多信息。本文首先使用CNN模型对钢板图像中是否含有缺陷做出判断,含有缺陷的钢板图像使用改进的Unet模型进一步检测。Unet模型由编码器和解码器构成,编码器通过多次降采样提取了具有大感受野的特征,解码器将通过多次上采样产生分割结果,因此大感受野的特征无法直接作用于模型的分割结果,而使其性能受到限制。在Unet模型的编码器输出和模型输出之间引入一个新的分类分支以利用编码器提取的大感受野特征改善Unet分割缺陷图像的性能。在模型训练时重复使用样本数量少的缺陷类,以避免样本不平衡带来的负面影响。综上所述,本文通过两个实际的缺陷检测项目展开了基于神经网络的结构表面缺陷识别方法研究。在检测铁路轨枕裂纹时,我们提出的3*3邻域极差算法检测出的裂纹边缘比Sobel算法和Canny算法更清晰,基于形态学运算构建的滤波方法可以过滤大量非裂纹目标,并且建立的CNN模型对裂纹识别的准确率达到了95%。在检测钢板表面的缺陷时,我们通过给Unet的编码器输出和模型输出之间引入新的分类分支提高了其性能,并在训练中重复使用样本数量少的缺陷有效改善了样本不平衡问题。