...
  • 主题
高级搜索  >
历史搜索 清空历史
首页> 外文期刊>IEEE transactions on multimedia >Creating a Multitrack Classical Music Performance Dataset for Multimodal Music Analysis: Challenges, Insights, and Applications
【24h】

Creating a Multitrack Classical Music Performance Dataset for Multimodal Music Analysis: Challenges, Insights, and Applications

机译：创建用于多模式音乐分析的多轨古典音乐演奏数据集：挑战，见解和应用

获取原文
获取原文并翻译 | 示例
           
页面导航
  • 摘要
  • 著录项
  • 相似文献
  • 相关主题

摘要

We introduce a dataset for facilitating audio-visual analysis of music performances. The dataset comprises 44 simple multi-instrument classical music pieces assembled from coordinated but separately recorded performances of individual tracks. For each piece, we provide the musical score in MIDI format, the audio recordings of the individual tracks, the audio and video recording of the assembled mixture, and ground-truth annotation files including frame-level and note-level transcriptions. We describe our methodology for the creation of the dataset, particularly highlighting our approaches to address the challenges involved in maintaining synchronization and expressiveness. We demonstrate the high quality of synchronization achieved with our proposed approach by comparing the dataset with existing widely used music audio datasets. We anticipate that the dataset will be useful for the development and evaluation of existing music information retrieval (MIR) tasks, as well as for novel multimodal tasks. We benchmark two existing MIR tasks (multipitch analysis and score-informed source separation) on the dataset and compare them with other existing music audio datasets. In addition, we consider two novel multimodal MIR tasks (visually informed multipitch analysis and polyphonic vibrato analysis) enabled by the dataset and provide evaluation measurements and baseline systems for future comparisons (from our recent work). Finally, we propose several emerging research directions that the dataset enables.
机译：我们引入了一个数据集，以促进音乐表演的视听分析。该数据集包括44条简单的多乐器古典音乐作品，这些作品是根据各个曲目的协调但单独录制的演奏组合而成的。对于每首乐曲，我们提供MIDI格式的乐谱，各个音轨的录音，组合音轨的音频和视频录音，以及包括帧级和音符级转录的真实注释文件。我们描述了用于创建数据集的方法，特别强调了我们应对保持同步和表达能力所面临挑战的方法。通过将数据集与现有广泛使用的音乐音频数据集进行比较，我们证明了我们提出的方法可以实现高质量的同步。我们预计该数据集将对现有音乐信息检索（MIR）任务的开发和评估以及新颖的多模式任务有用。我们在数据集上对两个现有的MIR任务（多音高分析和乐谱告知的音源分离）进行基准测试，并将它们与其他现有的音乐音频数据集进行比较。此外，我们考虑了数据集支持的两个新颖的多模式MIR任务（可视化的多音高分析和复音颤音分析），并提供了评估测量和基线系统以进行未来的比较（来自我们的最新工作）。最后，我们提出了数据集支持的几个新兴研究方向。

著录项

相似文献

  • 外文文献
  • 中文文献
  • 专利
获取原文

客服邮箱：kefu@zhangqiaokeyan.com

京公网安备：11010802029741号 ICP备案号：京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有

  • 客服微信

  • 服务号