随着音乐数据的增长,基于内容的音乐信息检索已经迫在眉睫。在音乐信号中对多种乐器进行分类识别,是音乐信息检索领域的一个重要研究课题。传统的乐器识别工作大多针对单音音乐中的乐器识别和复音音乐中的主要乐器识别。受限于数据集和有效的分类特征,复音音乐中多乐器识别的工作并不多。卷积神经网络在图像识别中得到了突破性的应用,很多工作已经使用卷积神经网络对时频谱图的特征进行提取和学习。同时,最近帧级数据集的发布,也为多乐器识别问题提供了新的思路。本文通过合成数据集来扩展网络模型的可用数据量,从乐器的乐理知识出发提取关键特征,构建了符合认知逻辑的两级分类模型,提出了基于卷积神经网络的音乐信号多乐器识别方法。本文的主要工作如下:(1)调研了众多数据集,并引入了三个具有帧级标签的数据集。受其启发,我们也构建了自建数据集来增加数据规模。我们从专业平台获取了真实世界演奏的原始音频和相应的MIDI数字乐谱,选择基于动态规划的动态时间规整算法来把MIDI乐谱上的标签注释对齐到原始音频上。(2)从乐理知识和信号处理的角度出发,以音高特征和常数Q变换作为网络的输入特征。首先,提取音高特征时,我们使用了人工设置参数的滤波器组来提取音频的初级特征,减少了传统端到端网络的参数量,有效减少过拟合的风险。然后,我们结合十二平均律的乐理知识引入了常数Q变换。在提取音频的常数Q变换矩阵时,先按每个八度进行变换再汇总,减少计算时间。(3)进行特征处理后,提出了三个分类模型并进行分类实验。基准模型通过对比实验,证明音高特征对识别的正相关性,并探究了识别不同乐器时应该关注的谐波数量。基于注意力网络的分类模型,借鉴了人类听觉注意力的特性,提升了主要演奏乐器的识别分数和全部乐器的整体识别精度。两级分类模型分为第一级分类模型和第二级分类模型,第二级分类模型由三个残差网络组成,分别单独训练用来专门识别弦乐、管乐、打击乐,也就是第一级分类模型先进行乐器族的粗分类,在粗分类的基础上第二级分类模型再利用专门的乐器族分类网络进行某种乐器的细分类,最后把分类结果汇总,这种方法识别分数和整体精度最高。