新闻

亚博技术专业购彩平台

菜单

训练电脑将音乐从一种风格转换到另一种风格

在加州大学圣地亚哥分校举办的2019 COSMOS期间,音乐教授Shlomo Dubnov(右)与COSMOS的学生讨论了用于在音乐风格之间转换音乐符号的工具的机器学习体系结构,包括合著者、高中生Conan Lu(最左)。

人工智能能使计算机在音乐风格之间转换音乐作品吗?例如,从流行音乐到古典音乐或爵士乐?加州大学圣地亚哥分校的一位音乐教授和一名高中生表示,他们已经开发了一种机器学习工具,可以做到这一点。

加州大学圣地亚哥分校计算机音乐教授什洛莫·杜布诺夫说:“人们更熟悉能够自动将图像从一种风格转换为另一种风格的机器学习,就像你在Instagram上使用滤镜来改变图像的风格一样。”“过去试图从一种音乐风格转换到另一种风格的尝试都以失败告终,因为他们无法区分风格和内容。”

为了解决这个问题,Dubnov和合作者Conan Lu开发了ChordGAN——一种使用色度采样的条件生成对抗网络(GAN)架构,它只记录12个音调的音符分布,将风格(音乐纹理)和内容(即音调或和弦变化)分开。

“这种风格与内容的明确区分让网络能够持续学习风格特征,”卢说,他是华盛顿州雷德蒙德市雷德蒙德高中的一名高中生,于2019年夏天作为加州大学圣地亚哥分校的加州数学与科学暑期学校(COSMOS)的参与者开始开发这项技术。Lu是由Dubnov教授的COSMOS“音乐和技术”集群的一部分,Dubnov也是高通学院娱乐和学习研究中心(CREL)的主任,也是加州大学圣地亚哥分校雅各布斯工程学院计算机科学与工程系的附属教授。

7月20日,Dubnov和Lu将在一篇论文*中向2人展示他们的发现ndAI音乐创意大会(AIMC 2021)。以“与机器表演”为主题的虚拟会议将于6月18日至22日通过Zoom召开。该会议由奥地利格拉茨音乐和表演艺术大学的电子音乐和声学研究所组织,于7月18日至22日举行。

在2019年参加了加州大学圣地亚哥分校的COSMOS项目后,卢继续在疫情期间与杜布诺夫远程合作,共同撰写了将在2021年的AIMC上发表的论文。

在他们的论文中,Dubnov和Lu开发了一个数据集,由几百个来自流行、爵士和古典音乐风格的MIDI音频数据样本组成。MIDI文件经过预处理,将音频文件转换成钢琴卷和色度格式——训练网络转换乐谱。

Lu解释说:“我们的工具的一个优势是它可以灵活地适应不同类型的音乐。”“ChordGAN只控制色度特征的转移,所以任何调性音乐都可以作为输入输入到网络中,以生成特定音乐风格的作品。

为了评估工具的成功,Lu使用所谓的Tonnetz距离来衡量内容(如和弦和和声)的保存,以确保转换为不同风格不会导致在过程中丢失内容。

Dubnov指出:“Tonnetz的表现展示了一个作品中的和谐关系。”“这种方法的风格转移的主要目标是在改变风格元素的同时保留乐曲的主要和声和和弦,因此,Tonnetz距离提供了一个有用的衡量转移成功的标准。”

研究人员还添加了一个独立的体裁分类器(以评估由此产生的风格转换是否真实)。在测试类型分类器的准确性时,它在爵士乐片段上表现最好(准确率为74%),在流行音乐(68%)和古典音乐(64%)上表现稍差。(虽然最初对古典音乐的评价仅限于巴赫的序曲,但后来对海顿和莫扎特的古典作品的测试也证明是有效的。)

“考虑到在我们的两个指标下成功地评估了ChordGAN的风格转换,”Lu说,“我们的解决方案可以作为一种工具,让音乐家们学习作曲技术,并自动从主谱表生成音乐。”

这名高中生此前在机器学习和音乐方面的研究为卢在2021年华盛顿科学工程博览会上赢得了一枚铜牌。这次成功也使他有资格参加Regeneron国际科学与工程博览会(ISEF),这是世界上最大的大学预科科学博览会。卢成为了ISEF的决赛选手,并获得了人工智能进步协会的荣誉奖。

*Lu, C. and Dubnov, S.;ChordGAN:带有色度特征提取的符号音乐风格转换AIMC 2021,奥地利格拉茨。


媒体接触

道格拉姆塞.(必须启用JavaScript才能查看此电子邮件地址)

加州大学圣地亚哥分校的工作室十300提供广播和电视连线,以便媒体采访我们的教师,这可以通过.(必须启用JavaScript才能查看此电子邮件地址).访问加州大学圣地亚哥分校,与加州大学圣地亚哥分校的教师专家就相关问题和热点新闻故事取得联系//www.introversial.com/media-resources/faculty-experts