音乐人工智能与音乐信息科技系

Music Artificial Intelligence and Music Information Technology

音乐人工智能与音乐信息科技系

我校音乐人工智能与音乐信息科技系建成全球首个带标注的多模态胡琴演奏数据库

信息来源:beat365官方网站 发布日期:2022-10-05 22:26:00 更新日期:2023-11-22 17:05:25

近期,我校音乐人工智能与音乐信息科技系建成全球首个带标注的多模态胡琴演奏数据库(CCOM-HuQin),该数据库由我校民乐系表演专业的研究生参与录制,采用统一的高精度录制标准和科学可靠的标注体系,可广泛用于音高识别、音频转谱、乐谱跟随以及音视频分析、情感计算、表演生成等研究,填补了音乐科技领域中带标注的多模态中国民族乐器演奏数据库的空白,对弘扬中国民族音乐以及中西方音乐对比研究有重要价值。

CCOM-HuQin涵盖了二胡、高胡、高音板胡、中音板胡、次中音板胡、低音板胡、坠胡、中胡共八种代表性胡琴乐器,包含了高质量的音频、多视角的视频(用于全景和细节的姿势捕捉)以及相应的数字化乐谱和标注文件。



胡琴乐器示意图


该数据库包括以下两个子集:

1. 人工标注的经典曲目选段

选曲包括从古至今不同历史时期和作曲家的作品,展现了河南、河北、山东、山西、陕西、江苏、广东、内蒙古及新疆等多个地区的创作风格和丰富多样的演奏技法。每首乐曲的标注文件包括1)带有技法标注的乐谱(MusicXML格式);2)音符级别(note-level)的音高-时间序列标注,以及每个音符对应使用的演奏技法;3)帧级别(frame-level)的基频(F0)音高轨迹。以上标注均由具有胡琴表演知识的专业人士完成,保证了其高度的准确性和可靠性。

2. 带多级标签的单个演奏技法片段

除了经典曲目选段,该数据库还包含12大类、25小类的单个演奏技法,每个技法类别具有力度、速度、音程关系等各个演奏属性的标签。这些标签以层级结构设为文件名,供研究者使用。



录制场地及全景视角、左右手特写视角示意


该数据库是我校高精尖学科建设项目与国家社科基金艺术学重大项目“音乐与人工智能协同创新发展理论研究”所取得的成果之一,体现了音乐与科技跨领域成功合作,为我校未来数据中心建设作出了贡献。今后将继续拓展数据库的内容和标注信息,探索更全面高效的数据库建设和管理模式,促进音乐数据库的标准化,为音乐科技领域的研究提供权威可靠的数据支持。

CCOM-HuQin数据库1.0版本的下载和使用

该数据库开发者选取其中一部分形成CCOM-HuQin1.0,公开至Zenodo平台 (https://doi.org/10.5281/zenodo.6957454)。CCOM-HuQin1.0涵盖了CCOM-HuQin数据库中的所有乐器,内容包括不同时期和创作风格的10首经典曲目选段,以及覆盖了所有类别的845个单个技法片段,力求展现整个数据库的全面性和多样性。

CCOM-HuQin1.0在Creative Commons Attribution - NonCommercial-ShareAlike 4.0 (CC BY-NC-SA 4.0)国际许可下提供,可供学术研究使用,研究者可通过提交申请的方式下载。相关论文已在arXiv公布(https://arxiv.org/abs/2209.06496),论文详细阐释了数据库建设过程及相关统计信息,展示了初步实验结果并讨论了可能应用前景。



Zenodo平台数据库界面

项目参与人员

CCOM-HuQin数据库项目由我校音乐人工智能与音乐信息科技专业博士生张宇和硕士生周子雅共同开发,在beat365官方网站俞峰教授、清华大学孙茂松教授和beat365官方网站李小兵教授的指导下完成。我校民乐系研究生陈开、李立、李润泽、李沛泽、王兆星、王楚婷和音乐人工智能与音乐信息科技系研究生张增琪、许怡儒参与录制。项目得到我校音乐人工智能与音乐信息科技系李子晋教授和王雪莹老师的指导和帮助。

供稿:音乐人工智能与音乐信息科技系