FluidInference/JSUT-basic5000

# JSUT (Japanese Speech Corpus) - Test Subset A test subset of the JSUT corpus containing 500 Japanese utterances from the basic5000 dataset (BASIC5000_4501-5000). ## Dataset Description - **Language:** Japanese (ja) - **Size:** 500 audio clips - **Format:** WAV audio (48kHz) + text transcription - **Source:** [JSUT Corpus](https://sites.google.com/site/shinnosuketakamichi/publication/jsut) - **Subset:** basic5000 (utterances 4501-5000) - **License:** CC-BY-SA 4.0 (see LICENCE.txt) ## Dataset Structure ``` jsut_ver1.1/ └── basic5000/ ├── wav/ # WAV audio files (500 files, 48kHz) ├── transcript_utf8.txt # Transcriptions └── recording_info.txt # Recording dates ``` ## File Formats ### transcript_utf8.txt ``` BASIC5000_4501:だが、エーアイセンター稼動を快く思わない... BASIC5000_4502:また、サイコロに姿を変えることもでき... ... ``` ### recording_info.txt ``` BASIC5000_4501.wav 12/19/2016 BASIC5000_4502.wav 12/19/2016 ... ``` ## Usage ### Loading with Hugging Face Datasets ```python from datasets import load_dataset # Load from local path dataset = load_dataset("audiofolder", data_dir="jsut_ver1.1/basic5000") # Or after uploading to Hugging Face Hub dataset = load_dataset("your-username/jsut-basic5000-test") ``` ### Loading with Python ```python import pandas as pd # Read transcripts transcripts = {} with open("jsut_ver1.1/basic5000/transcript_utf8.txt", "r", encoding="utf-8") as f: for line in f: utt_id, text = line.strip().split(":", 1) transcripts[utt_id] = text print(transcripts["BASIC5000_4501"]) ``` ## Citation ```bibtex @article{sonobe2017jsut, title={JSUT corpus: free large-scale Japanese speech corpus for end-to-end speech synthesis}, author={Sonobe, Ryosuke and Takamichi, Shinnosuke and Saruwatari, Hiroshi}, journal={arXiv preprint arXiv:1711.00354}, year={2017} } ``` ## Acknowledgments This dataset is derived from the JSUT corpus created by: - Ryosuke Sonobe (University of Tokyo) - Shinnosuke Takamichi (@forthshinji, University of Tokyo) - Hiroshi Saruwatari (University of Tokyo) The full corpus is available at: https://sites.google.com/site/shinnosuketakamichi/publication/jsut# JSUT（日语语音语料库，Japanese Speech Corpus）- 测试子集 本语料库为JSUT语料库的测试子集，源自basic5000数据集的第4501至5000条语音语句，共计500条日语语音。 ## 数据集描述 - **语言**：日语（ja） - **规模**：500条音频片段 - **格式**：WAV音频（48kHz采样率）+ 文本转录内容 - **来源**：[JSUT语料库](https://sites.google.com/site/shinnosuketakamichi/publication/jsut) - **子集范围**：basic5000（语音编号4501-5000） - **授权协议**：CC-BY-SA 4.0（详见LICENCE.txt） ## 数据集结构 jsut_ver1.1/ └── basic5000/ ├── wav/ # WAV音频文件（共500个，采样率48kHz） ├── transcript_utf8.txt # 文本转录文件 └── recording_info.txt # 录音日期信息文件 ## 文件格式 ### transcript_utf8.txt BASIC5000_4501:だが、エーアイセンター稼動を快く思わない... BASIC5000_4502:また、サイコロに姿を変えることもでき... ... ### recording_info.txt BASIC5000_4501.wav 12/19/2016 BASIC5000_4502.wav 12/19/2016 ... ## 使用方法 ### 使用Hugging Face Datasets加载 python from datasets import load_dataset # 从本地路径加载数据集 dataset = load_dataset("audiofolder", data_dir="jsut_ver1.1/basic5000") # 或在上传至Hugging Face Hub后加载数据集 dataset = load_dataset("your-username/jsut-basic5000-test") ### 纯Python加载 python import pandas as pd # 读取转录文本 transcripts = {} with open("jsut_ver1.1/basic5000/transcript_utf8.txt", "r", encoding="utf-8") as f: for line in f: utt_id, text = line.strip().split(":", 1) transcripts[utt_id] = text print(transcripts["BASIC5000_4501"]) ## 引用 bibtex @article{sonobe2017jsut, title={JSUT corpus: free large-scale Japanese speech corpus for end-to-end speech synthesis}, author={Sonobe, Ryosuke and Takamichi, Shinnosuke and Saruwatari, Hiroshi}, journal={arXiv preprint arXiv:1711.00354}, year={2017} } ## 致谢 本数据集源自东京大学Ryosuke Sonobe、Shinnosuke Takamichi与Hiroshi Saruwatari构建的JSUT完整语料库。完整语料库可通过以下链接获取：https://sites.google.com/site/shinnosuketakamichi/publication/jsut

搜集汇总

数据集介绍

构建方式

JSUT-basic5000数据集作为JSUT日语语音语料库的测试子集，其构建过程体现了严谨的学术规范。该子集从基础5000条语句（basic5000）中精选了编号4501至5000的500条日语发音样本，确保了数据在语音质量和文本内容上的代表性。每条样本均包含高保真的48kHz WAV格式音频文件，并辅以精确的UTF-8编码文本转录，录音信息亦被详细记录于独立文件中，共同构成了一个结构清晰、便于机器读取的标准化数据集。

特点

本数据集的核心特点在于其专为日语语音处理任务设计的纯净性与专业性。所有音频均以48kHz的高采样率录制，确保了语音信号的丰富细节，适用于对音质要求苛刻的语音合成与识别研究。文本转录内容覆盖了多样化的日常语句，为模型训练提供了丰富的语言上下文。数据集采用CC-BY-SA 4.0开源协议，促进了学术界的自由共享与协作，其模块化的文件组织结构也极大简化了数据访问与预处理流程。

使用方法

利用Hugging Face Datasets库，研究者可通过audiofolder加载器便捷地导入本地或Hub上的数据集，快速获取音频与文本的对齐信息。对于更定制化的分析，用户可直接解析transcript_utf8.txt等文本文件，构建语音-文本映射关系。该数据集主要服务于日语端到端语音合成、自动语音识别等领域的模型评估与基准测试，为相关算法的性能验证提供了可靠的标准化语料。

背景与挑战

背景概述

JSUT-basic5000数据集作为JSUT日语语音语料库的测试子集，由东京大学的研究团队于2017年构建，旨在为端到端语音合成系统提供高质量、大规模的开源日语语音数据。该数据集收录了500条标准日语发音的音频片段及其对应文本转录，采样率为48kHz，覆盖了日常对话与新闻播报等多种语境，显著推动了日语语音合成技术的开源化进程，并为相关领域的模型评估与比较奠定了坚实基础。

当前挑战

在语音合成领域，日语因其复杂的音韵结构和丰富的敬语体系，对模型的自然度与准确性提出了更高要求。JSUT-basic5000数据集需应对合成语音的韵律建模、音素对齐以及跨说话人泛化等核心难题。构建过程中，研究团队面临高质量录音环境的一致性维护、文本转录的精确校对，以及数据标注的标准化等挑战，这些因素共同影响了数据集的可靠性与应用广度。

常用场景

经典使用场景

在日语语音合成领域，JSUT-basic5000数据集常被用作端到端语音合成模型的基准测试集。该数据集包含500条高质量日语语音样本及其对应文本转录，覆盖了日常对话的多样化表达，为研究者提供了标准化的评估环境。通过利用这些数据，可以训练和验证模型在生成自然、流畅日语语音方面的性能，尤其在韵律建模和音素对齐等关键任务上展现出重要价值。

解决学术问题

JSUT-basic5000数据集有效解决了日语语音合成研究中数据稀缺和标准化不足的学术问题。传统上，日语语音数据往往受限于规模或标注质量，阻碍了端到端模型的深入探索。该数据集以大规模、高一致性的特点，为声学建模、文本到语音转换等研究提供了可靠基础，促进了跨语言语音合成技术的比较与创新，对推动语音处理领域的理论进展具有显著意义。

衍生相关工作

基于JSUT-basic5000数据集，衍生出多项经典研究工作，如端到端日语语音合成模型的优化与评估框架。研究者利用该数据集开发了改进的声码器和注意力机制，提升了合成语音的质量和效率。此外，它还促进了跨语种语音合成技术的探索，为后续大规模多语言语音数据集的构建提供了方法论参考，推动了语音人工智能领域的持续发展。