日语歌声基础数据集

# 日语歌声数据集（全量镜像 + 基础子集） Hugging Face [`tts-dataset/japanese-singing-voice`](https://huggingface.co/datasets/tts-dataset/japanese-singing-voice) 的完整镜像。 > **2026-10 已补齐全部 78 个 WebDataset 分片（`train-0000` ~ `train-0077`），本仓库现在是全量数据集，不再是 12/78 的子集。** > 所有分片均已按原仓库的 LFS SHA-256 逐一校验，大小与哈希完全一致。 ## 规模（全量） | 项目 | 数值 | |---|---| | 曲目数 | **15,311** | | 演唱频道（channel）数 | 3,082 | | 总时长 | **991.94 小时** | | WebDataset 分片 | **78** 个（`train-0000.tar` ~ `train-0077.tar`） | | `data/` 总大小 | **72.11 GiB**（77,431,224,320 字节） | | TAR 内条目 | 30,622（15,311 个 `.mp3` + 15,311 个 `.json`） | | 音频格式 | MP3，44.1 kHz，双声道，VBR（抽样 166–182 kbps） | | 单曲时长 | 120 s – 594 s，中位数 228 s，P95 305 s | | 语言 | 日语（`ja`） | | 许可 | CC BY-NC 4.0（仅限非商业用途） | 每个分片约 200 首；最后一个分片 `train-0077.tar` 为 36 首、177.7 MiB（186.4 MB）。 ## 仓库结构 ``` . ├── data/ # 全量 WebDataset（78 个 tar，15,311 首，991.94 h） │ ├── train-0000.tar │ ├── ... │ └── train-0077.tar ├── audio/ # 解包子集：2,386 个 mp3，文件名 = YouTube video id │ └── {video_id}.mp3 ├── meta/ # 解包子集元数据：train-0000.json ~ train-0011.json ├── meta_all.json # 解包子集合并元数据（{video_id: {...}}，2,386 条） └── dataset_infos.json ``` 每个 TAR 内为一对文件： - `{video_id}.mp3` — 音频 - `{video_id}.json` — 元数据 ## 解包子集（`audio/` + `meta/`） 为方便直接按文件读取，仓库额外保留了此前解包的前 12 个分片（`train-0000` ~ `train-0011`）： | 项目 | 数值 | |---|---| | 曲目数 | 2,386 | | 演唱频道数 | 1,069 | | 总时长 | 154.12 小时 | | 音频大小 | 11.2 GiB（12.0 GB） | | 单曲时长 | 121 s – 566 s，中位数 228 s | | 质量分分布 | 70: 7 / 75: 287 / 80: 748 / 85: 550 / 90: 452 / 95: 328 / 100: 14 | ## 元数据字段 | 字段 | 类型 | 说明 | |---|---|---| | `id` | str | YouTube video id（= 音频文件名） | | `url` | str | 源视频链接 | | `title` | str | 视频标题（通常含曲名/歌手） | | `channel_id` / `channel_title` | str | 上传频道 id / 名称 | | `source_playlist` | str | 来源播放列表 | | `duration_sec` | int | 时长（秒） | | `published` | str | 发布日期（ISO 8601） | | `view_count` / `like_count` | int | 播放数 / 点赞数 | | `category_id` | str | YouTube 分类（10 = Music） | | `topic_categories` | list | Wikipedia 主题标签 | | `language` | str | 语言，全部为 `ja` | | `dataset_category` | str | 内容类型：official / cover / diverse | | `dataset_genre` | str | 曲风：pop / other / electronic / rock / hiphop_rnb | | `dataset_score` | int | 数据集自带质量分（70–100） | ## 分布（全量 15,311 首） | 维度 | 分布 | |---|---| | 内容类型 | official 5,943（38.8%）/ cover 4,710（30.8%）/ diverse 4,658（30.4%） | | 曲风 | pop 8,578（56.0%）/ other 5,367（35.1%）/ electronic 1,032（6.7%）/ rock 170（1.1%）/ hiphop_rnb 164（1.1%） | | 质量分 | 70: 84 / 75: 1,785 / 80: 4,776 / 85: 3,478 / 90: 2,962 / 95: 2,156 / 100: 70 | | 时长 | 120–594 s，中位数 228 s，P95 305 s | | 发布年份 | 2008–2025 | ## 使用方法 ### 全量 WebDataset（本地） ```python import webdataset as wds dataset = wds.WebDataset("data/train-{0000..0077}.tar").decode() for sample in dataset: audio, meta = sample["mp3"], sample["json"] ``` ### 全量 WebDataset（从 ModelScope 流式读取） ```python import webdataset as wds base = "https://www.modelscope.cn/datasets/syxppp/ja-singing-voice-base/resolve/master/data" urls = [f"{base}/train-{i:04d}.tar" for i in range(78)] dataset = wds.WebDataset(urls).decode() ``` ### 解包子集 ```python import json import librosa meta = json.load(open("meta_all.json")) # {video_id: {...}} high = [v for v, m in meta.items() if m["dataset_score"] >= 90] # 794 首高质量子集 y, sr = librosa.load(f"audio/{high[0]}.mp3", sr=24000, mono=True) ``` ## 与标注数据集的配套关系 配套音素级标注数据集：[**日语歌声音素级标注数据集**](https://modelscope.cn/datasets/syxppp/ja-singing-phoneme-annotated) 其中的 46 条标注片段（29 首歌 / 29 位歌手 / 15.7 分钟）均可在解包子集中按 `video_id` 回溯原始音源（`audio/{video_id}.mp3`）。解包子集中 `dataset_score ≥ 90` 的曲目共 794 首，全量数据集中同一分数段共 5,188 首。 ## 许可与来源 - **许可**：CC BY-NC 4.0（**仅限非商业研究用途**）。 - **来源**：Hugging Face `tts-dataset/japanese-singing-voice`（原仓库为 gated，需申请许可；本仓库为获许可后的镜像分发），音频来自 YouTube。 - **版权声明**：音频版权归原视频作者/权利人所有。本仓库仅作研究用途的镜像分发，**不主张任何音源版权**；如权利人要求，可随时下架。 - **仅供研究**；商用需自行取得授权。