论文部分内容阅读
音乐是人类历史上最伟大的发明之一,对人类生活产生重要影响。创作音乐需要专业的领域知识和乐器技能,如何自动创作音乐已成为近年来一个热门研究方向。许多公司和研究机构在这方向做了很多有趣的工作,如Google的Magenta项目,对现有的大量的钢琴曲进行学习,研究如何让机器自动创作钢琴曲。随着深度学习的崛起,深度神经网络应用于音乐生成中,避免了传统机器学习方法中需要大量手工特征的耗费。以往的模型在进行音乐生成时还有许多不足之处,很多影响音乐生成质量的因素都没有很好地考虑进来,诸如和弦进行和节奏型。和弦进行广泛存在于流行音乐中,它可以指导旋律的走向,将其作为输入将有益于音乐生成。同时流行歌曲有着固定的节奏型,但现有的研究采用基于音符级别的生成方式,未考虑到音乐的结构性。此外,流行歌曲通常有着多个音轨和乐器来为旋律进行伴奏,不同的轨道和乐器应该相互协调,而以往的工作并没有考虑到音轨间的和谐性。最后,音乐有着多种风格,如古典,爵士和流行音乐,如何生成特定风格的音乐是值得探索和研究的问题。针对以上问题,本文基于深度学习的技术,对音乐生成中相关问题进行了研究,主要研究内容和贡献有:1.针对流行音乐的生成,本文提出了一个从旋律到编曲的端到端的生成框架(Melody and Arrangement Generation Framework,MAFG),该框架包括两个部分,分别是旋律生成部分和编曲生成部分。在旋律生成部分中,提出基于和弦的节奏和旋律交叉生成的模型(Chord based Rhythm and Melody Cross-Generation Model,CRMCG)来提升音乐音程关系,学习乐段的结构性。在编曲生成部分中,提出基于多任务学习的多乐器联合编曲模型(Multi-Instrument Co-Arrangement Generation Model,MICA),实现多音轨多乐器间的和谐配合。2.针对音乐风格的控制,提出了一个多风格多乐器联合编曲模型(Multi-Style Multi-Instrument Co-Arrangement Generation Model,MSMICA)。该模型包含了编曲生成器和多个判别器,通过生成器和判别器对抗训练生成特定风格的音乐,且保证音乐的和谐性。3.针对以上两个工作,在真实音乐数据集上进行了大量实验,实验结果验证了CRMCG,MICA和MSMICA模型的有效性。