训练计算机将音乐从一种风格转换到另一种风格

文章内容

人工智能能让计算机在不同的音乐风格之间转换音乐作品吗?例如，从流行音乐到古典音乐或爵士音乐?据加州大学圣地亚哥分校的一位音乐教授和一名高中生介绍，他们开发了一种机器学习工具，可以做到这一点。

加州大学圣地亚哥分校计算机音乐教授什洛莫·杜布诺夫说:“人们更熟悉机器学习，它可以自动将图像从一种风格转换为另一种风格，就像你在Instagram上使用滤镜来改变图像的风格一样。”“过去将一种音乐风格转换为另一种音乐风格的尝试都失败了，因为他们没有区分风格和内容。”

为了解决这个问题，Dubnov和合著者Conan Lu开发了ChordGAN——一种使用色度采样的条件生成对抗网络(GAN)架构，它只记录12个音调的音符分布，将风格(音乐纹理)与内容(即音调或和弦变化)分开。

“这种风格和内容的明确区分使网络能够持续学习风格特征，”来自华盛顿州雷德蒙德雷德蒙德高中的大四学生Lu指出，他于2019年夏天开始开发这项技术，作为加州大学圣地亚哥分校的加州数学和科学暑期学校(COSMOS)的参与者。卢是杜布诺夫教授的COSMOS“音乐与技术”集群的一员，杜布诺夫还指导高通研究所的娱乐与学习研究中心(CREL)，是加州大学圣地亚哥分校雅各布斯工程学院计算机科学与工程系的副教授。

7月20日，Dubnov和Lu将在一篇论文*中向2展示他们的发现^nd人工智能音乐创意大会(AIMC 2021)。以“用机器表演”为主题的虚拟会议将于6月18日至22日通过Zoom举行。该会议由奥地利格拉茨音乐与表演艺术大学电子音乐与声学研究所组织，于7月18日至22日举行。

在2019年参加加州大学圣地亚哥分校的COSMOS项目后，卢在大流行期间继续与杜布诺夫远程合作，共同撰写了将在2021年AIMC上发表的论文。

在他们的论文中，Dubnov和Lu开发了一个由数百个流行音乐、爵士和古典音乐风格的MIDI音频数据样本组成的数据集。MIDI文件经过预处理，将音频文件转换为钢琴卷和色度格式——训练网络转换乐谱。

“我们的工具的一个优势是它可以灵活地适应不同类型的音乐，”Lu解释道。ChordGAN只控制色度特征的传输，因此任何音调的音乐都可以作为网络的输入，以生成特定音乐风格的作品。

为了评估该工具的成功，Lu使用所谓的Tonnetz距离来衡量内容的保存(例如，和弦和和声)，以确保转换到不同的风格不会导致在此过程中丢失内容。

杜布诺夫指出:“Tonnetz的表现表现了作品中的和谐关系。”“由于这种方法的风格转换的主要目标是在改变风格元素的同时保留作品的主要和声和和弦，因此Tonnetz距离为确定转换成功提供了一个有用的度量标准。”

研究人员还添加了一个独立的流派分类器(以评估最终的风格转换是否真实)。在测试他们的类型分类器的准确性时，它在爵士音乐片段上表现最好(准确率为74%)，在流行音乐(68%)和古典音乐(64%)上表现稍差。(虽然最初对古典音乐的评估仅限于巴赫的前奏曲，但随后对海顿和莫扎特的古典作品进行的测试也被证明是有效的。)

“考虑到在我们的两个指标下对ChordGAN的风格转移进行了成功的评估，”Lu说，“我们的解决方案可以作为音乐家学习作曲技巧的工具，并从引线单自动生成音乐。”

这位高中生早期在机器学习和音乐方面的研究为他在2021年华盛顿科学与工程博览会上赢得了铜牌。这一成功也使他有资格参加Regeneron国际科学与工程博览会(ISEF)，这是世界上最大的大学前科学博览会。卢成为了ISEF的决赛选手，并获得了人工智能发展协会的荣誉奖。

*吕文华，杜波诺夫，张文华。基于色度特征提取的符号音乐风格转移，AIMC 2021,奥地利格拉茨。