Weisiqing123/ONOTE

--- license: mit task_categories: - image-to-text - audio-to-text - text-generation - question-answering language: - en - zh tags: - music - symbolic-music - optical-music-recognition - jianpu - guitar-tabs - benchmark pretty_name: ONOTE (Omnimodal Notation Objective Topology Examination) size_categories: - 1K<n<10K --- # ONOTE: Omnimodal Notation Objective Topology Examination ONOTE is a large-scale, omnimodal benchmark designed to evaluate music understanding across three major notation systems: **Western Staff**, **Jianpu (Numbered Notation)**, and **Guitar Tablature**. ## 📂 Dataset Structure The dataset is organized into two primary sub-directories based on the notation and instrument type: ### 1. `pitch_Jianpu_dataset` (Staff & Numbered Notation) This sub-folder focuses on Western staff and Jianpu processing. * **Directories:** * `Audio 0-100/`: Audio files for audio-to-symbolic transcription tests. * `images 0-100/`: High-resolution images of Western standard staff notation. * `simple_notation_images 0-100/`: Images of Jianpu (Numbered Musical Notation). * **Metadata & QA Files:** * `jianpu_metadata.json`: Ground truth for Jianpu transcription. * `staff_metadata.json`: Ground truth for Staff transcription. * `staff_qa_mcq.json`: Multiple-choice questions for Staff visual reasoning (VSU). * `jianpu_qa_mcq.json`: Multiple-choice questions for Jianpu visual reasoning (VSU). ### 2. `guitar_dataset` (Guitar Tablature) This sub-folder focuses on guitar-specific notation and performance analysis. * **Directories:** * `annotation/`: Performance metadata in `.jams` format. * `audio/`: Clean acoustic guitar recordings. * `images/`: ASCII and standard guitar tablature images. * `simple_notes/`: JSON files containing extracted pitch sequences for guitar tabs. * **Metadata & QA Files:** * `guitar_qa_mcq.json`: Multiple-choice questions for Guitar Tab visual reasoning. * `all_pitches_summary.json`: A comprehensive summary of pitch distributions across the guitar dataset. ## 🚀 Supported Tasks | Task ID | Task Name | Data Source | | :--- | :--- | :--- | | **VSU** | Visual Score Understanding | `*_qa_mcq.json` + `images` | | **CNC** | Cross-format Conversion | `images` + `metadata.json` | | **AST** | Audio-to-Symbolic | `Audio` + `metadata.json` | | **SMG** | Symbolic Music Generation | `all_pitches_summary.json` |license: MIT协议 task_categories: - 图像转文本 - 音频转文本 - 文本生成 - 问答 language: - 英语 - 中文 tags: - 音乐 - 符号化音乐 - 光学音乐识别 - 简谱 - 吉他六线谱 - 基准测试 pretty_name: ONOTE（全模态记谱客观拓扑检验，Omnimodal Notation Objective Topology Examination） size_categories: - 1000 < 样本数 < 10000 # ONOTE：全模态记谱客观拓扑检验（Omnimodal Notation Objective Topology Examination） ONOTE是一款大规模全模态基准测试集，旨在针对三大主流记谱体系——**西洋五线谱（Western Staff）**、**简谱（Jianpu，数字记谱法）**以及**吉他六线谱（Guitar Tablature）**，评估模型的音乐理解能力。 ## 📂 数据集结构 本数据集根据记谱类型与乐器类别分为两大核心子目录： ### 1. `pitch_Jianpu_dataset`（五线谱与数字记谱） 该子目录聚焦于西洋五线谱与简谱的处理任务。 * **目录结构：** * `Audio 0-100/`：用于音频转符号记谱测试的音频文件。 * `images 0-100/`：西洋标准五线谱的高分辨率图像文件。 * `simple_notation_images 0-100/`：简谱（数字音乐记谱法）的图像文件。 * **元数据与问答数据集：** * `jianpu_metadata.json`：简谱转写任务的真实标注（Ground Truth）。 * `staff_metadata.json`：五线谱转写任务的真实标注。 * `staff_qa_mcq.json`：五线谱视觉推理（Visual Score Understanding，VSU）的多项选择题数据集。 * `jianpu_qa_mcq.json`：简谱视觉推理（Visual Score Understanding，VSU）的多项选择题数据集。 ### 2. `guitar_dataset`（吉他六线谱） 该子目录聚焦于吉他专属记谱与演奏分析任务。 * **目录结构：** * `annotation/`：格式为`.jams`的演奏元数据文件。 * `audio/`：纯净的原声吉他录音文件。 * `images/`：ASCII格式与标准格式的吉他六线谱图像文件。 * `simple_notes/`：包含吉他六线谱提取音高序列的JSON文件。 * **元数据与问答数据集：** * `guitar_qa_mcq.json`：吉他六线谱视觉推理的多项选择题数据集。 * `all_pitches_summary.json`：吉他数据集全量音高分布的综合统计摘要。 ## 🚀 支持任务 | 任务编号 | 任务名称 | 数据来源 | | :--- | :--- | :--- | | **VSU** | 视觉乐谱理解（Visual Score Understanding） | `*_qa_mcq.json` + `images` | | **CNC** | 跨格式转换（Cross-format Conversion） | `images` + `metadata.json` | | **AST** | 音频转符号记谱（Audio-to-Symbolic） | `Audio` + `metadata.json` | | **SMG** | 符号化音乐生成（Symbolic Music Generation） | `all_pitches_summary.json` |