环境声音识别（Environment sound recognition）是指让计算机设备以一定的算法方式对采集到的环境声音进行分类与处理的过程,其在智能机器人、移动设备监测、自动驾驶、环境安全监控、智能家居、智慧城市等领域都有广泛的应用前景,是计算机听觉（Computer Audition）领域重要的研究方向之一。环境声音分类和增强是声音识别领域重要的研究内容。随着人工智能技术的不断发展,神经网络逐渐成为了该领域的重要研究方法。与传统的机器学习方法相比,神经网络方法具有算法模型简单、泛化效果好、鲁棒性强、可迁移性强等优势。但分类算法仍存在识别精度低、对设备性能要求高的问题;增强算法也主要面向语音增强、乐器声音分离等场景,环境声音增强算法仍不成熟。围绕以上存在的问题,本文有下面的主要研究内容:首先,通过bottleneck模块改进CNN以降低网络参数量和运算量;通过引入SE注意力机制模型以提高网络精度。论文中设计了用于环境声音分类的BN-CNN、SE-CNN small 和 SE-CNN large 神经网络模型。然后,对于不同的分类结果选用不同的增强网络以进行声音增强处理。本文基于生成对抗网络（GAN）的方法进行了声音增强的算法研究,通过引入encoder-decoder的直连接结构提高生成网络的性能;通过引入噪声向量z提高了网络的鲁棒性。该网络可通过重新训练实现对其他类别环境声音增强的扩展。接下来,由于目前开源声音数据集不适合做环境声音增强,论文创建了 ESCS数据集。该数据集包含两个子数据集,分别用于声音分类（12个小类,5个大类）和声音增强（10个小类,包含带噪和不带噪版本）的算法研究,共包含14.6万条44.1KHz采样、8bit量化、8s时长的环境声音样本。同时该数据集提供原始数据可根据需要自行处理。在该数据集下,声音分类的细分类F1精度最高提升4.90%,粗分类F1精度最高提升3.46%,运算量最多降低26.08%,参数量最多降低79.05%;通过生成网络和判别网络相互对抗训练的方法,在十种不同的环境声音上FID指标最好为0.218;AMT指标最高均值为8.12,均获得了良好的环境声音增强效果。最后设计并实现了可视化的环境声音识别软件。该软件使用tkinter、librosa、pyaudio等python库,由输入模块、信号预处理模块、声音识别模块、声音增强模块、输出显示模块构成,实现了环境声音分类和声音增强的功能。