日语歌声音素级标注数据集

# 日语歌声音素级标注数据集（Japanese Singing Voice — Phoneme-Level Annotated） 46 段**带音素级时间标注 + MIDI 音符**的日语歌声片段，面向歌声合成 / 歌声转换（SVS / SVC）模型的音素对齐训练与评测。 - **规模**：46 条片段 / 29 首歌 / 29 位歌手 / 15.7 分钟 - **音频**：24 kHz、单声道、16-bit PCM WAV，单段 20–25 s - **标注**：词级边界 + 音素级边界（毫秒精度）+ MIDI 音高与时长 - **筛选条件**：P0 音素（p b z h ɸ ç）密度 ≥ 12%（实测交付语料 14.6%） ## 数据集结构 ``` . ├── audio/ # 46 个 WAV（24kHz / mono / PCM16） │ └── {utt_id}.wav ├── label/ # 46 个标注 JSON │ └── {utt_id}.json ├── meta.csv # utt_id, singer, song, language, duration_sec ├── phone_map.csv # 源音素(ARPAbet) -> 目标音素(IPA) 映射 └── SCREENING_REPORT.md # 完整筛选报告（漏斗/密度分布/符合性核对） ``` `utt_id` 形如 `0wcZPlA9MrU`（歌曲主窗口）或 `0wcZPlA9MrU_w3`（该歌第 3 个 20s 窗口）。 **同一首歌的多个窗口共享前缀**，切分 train/val 时请按前缀分组，避免跨集泄漏。 ## 标注字段 `label/{utt_id}.json` 为词条数组，每个元素： | 字段 | 类型 | 说明 | |---|---|---| | `word` | str | 日语词（pykakasi 分词结果） | | `start_time` / `end_time` | float | 词在片段内的起止时间（秒，3 位小数 = 1 ms） | | `ph` | list[str] | 音素序列（IPA） | | `ph_start` / `ph_end` | list[float] | 音素起止时间，**相对该词起点**（秒，3 位小数） | | `note` | list[int] | 与词重叠的音符 MIDI 音高（60 = C4） | | `note_dur` | list[float] | 对应音符时长（秒） | 示例： ```json { "word": "風", "start_time": 0.0, "end_time": 0.277, "ph": ["k", "a", "z", "e"], "ph_start": [0.0, 0.032, 0.149, 0.261], "ph_end": [0.032, 0.149, 0.261, 0.277], "note": [60, 60, 60], "note_dur": [0.027, 0.123, 0.123] } ``` 一致性保证：音素区间恒在 `[0, end_time - start_time]` 内；词按时间单调不重叠；所有时间不超出音频长度。 ## 制作方法 1. **音源**：`tts-dataset/japanese-singing-voice`（HF）中 `dataset_score ≥ 90` 的 560 首，取能量最高窗口。 2. **歌词转写**：Qwen3-ASR-1.7B 日语识别（置信度 ≥ 0.60、3-gram 重复率 ≤ 0.35、假名占比 ≥ 0.25）。 3. **日语音素化**：pykakasi → 平假名 → mora → ARPAbet（映射到 STARS 123 音素集）。 4. **声学标注**：STARS（ACL 2025 Findings，浙大）bilingual 权重，输出音素/词边界、MIDI、演唱技巧。 5. **筛选**：窗口级 P0 音素密度 ≥ 12% 才交付；每首最多 12 个 20 s 窗口。 6. **后处理**：峰值归一至 −3 dBFS；>25 s 裁剪；词边界由音素时间反推（消除模型词/音素时长头漂移）。 处理链路见 [STARS 日语歌声标注流水线](https://gitcode.com/qq_50331623/stars-ja-pipeline)。 ## 统计 | 项目 | 数值 | |---|---| | 片段 / 歌曲 / 歌手 | 46 / 29 / 29 | | 总时长 | 15.7 min | | 音素总数 | 3,690 | | 音符总数 | 2,349 | | P0 音素总量 | 319（b 122 / h 93 / z 47 / ç 34 / p 14 / ɸ 9） | | 交付语料 P0 密度 | 14.6% | | 单窗口最高密度 | 35.3% | P0 音素指 `p b z h ɸ ç`（日语「ぱ行/ば行/ざ行/は行/ひ/ふ」），是音素均衡性与发音覆盖的关键指标。 ## 使用方法 ```python import json, soundfile as sf with open("meta.csv") as f: ... wav, sr = sf.read("audio/0wcZPlA9MrU.wav") # 24000 Hz, mono words = json.load(open("label/0wcZPlA9MrU.json")) for w in words: t0 = w["start_time"] for ph, ps, pe in zip(w["ph"], w["ph_start"], w["ph_end"]): print(f"{ph:>3} {t0+ps:.3f}-{t0+pe:.3f}s notes={w['note']}") ``` 音素映射：本数据集使用 IPA；若目标模型使用 ARPAbet / 自有音素集，请用 `phone_map.csv` 转换。 ## 已知限制 1. **近似音素级**：STARS 无日语权重，日语音素经中英双语音素集近似映射（促音→`q`、长音→元音延长），并非严格音系学标注。 2. **含伴奏**：音源为原曲混音（未做人声分离）。若训练需要干声，建议先用人声分离模型（UVR / Demucs）处理。 3. **规模有限**：29 首，未达大规模训练需求；P0 密度 ≥12% 是强筛选条件，自然分布下通过率仅约 5.7%。 4. **语言标签**：STARS 无日语分类头，`language` 字段统一标为 `ja`（人工指定），非模型预测。 ## 许可与来源 - **许可**：CC BY-NC 4.0（**仅限非商业研究用途**）。 - **来源**：音源来自 YouTube，经 `tts-dataset/japanese-singing-voice` 分发；**版权归原视频作者/权利人所有**，本数据集仅提供标注派生结果，不主张音源版权。 - **引用**： ```bibtex @inproceedings{stars2025, title = {STARS: A Unified Framework for Singing Voice Transcription, Alignment and Refined Style Annotation}, booktitle = {Findings of ACL}, year = {2025} } @misc{qwen3asr, title = {Qwen3-ASR}, author = {Qwen Team}, year = {2025} } ```