FluidInference/THCHS-30-tests

# THCHS-30 Test Set THCHS-30 test split for Mandarin Chinese speech recognition benchmarking. ## Dataset Info - **Language:** Mandarin Chinese (zh-CN) - **Samples:** 2,495 - **Speakers:** 10 - **Sample Rate:** 16 kHz - **License:** Apache 2.0 ## Usage ```python from datasets import load_dataset # After uploading to HuggingFace dataset = load_dataset("your-username/thchs30-test") # Example print(dataset['train'][0]) # { # 'audio': {'array': [...], 'sampling_rate': 16000, 'path': 'audio/D11_750.wav'}, # 'text': '东北军 的 一些 爱国 将士 马 占 山 李杜 唐 聚 伍 苏 炳 艾 邓 铁梅 等 也 奋起 抗战' # } ``` ## Benchmark Results Tested with FluidAudio CTC zh-CN model (parakeet-ctc-0.6b-zh-cn): - **Mean CER:** 8.37% (100 samples) - **Median CER:** 6.67% - 69% of samples achieve <10% CER ## Citation ```bibtex @article{wang2015thchs, title={THCHS-30: A Free Chinese Speech Corpus}, author={Wang, Dong and Zhang, Xuewei}, journal={arXiv preprint arXiv:1512.01882}, year={2015} } ``` ## Source - Original dataset: http://www.openslr.org/18/ - Paper: https://arxiv.org/abs/1512.01882 This repository contains only the test split for easier benchmarking.# THCHS-30 测试集 本数据集为THCHS-30的测试子集，用于普通话语音识别的基准评测。 ## 数据集信息 - **语言：** 普通话（zh-CN） - **样本量：** 2495条 - **说话人数量：** 10位 - **采样率：** 16 kHz - **许可协议：** Apache 2.0 ## 使用方法 python from datasets import load_dataset # 上传至HuggingFace平台后 dataset = load_dataset("your-username/thchs30-test") # 示例 print(dataset['train'][0]) # { # 'audio': {'array': [...], 'sampling_rate': 16000, 'path': 'audio/D11_750.wav'}, # 'text': '东北军 的 一些 爱国 将士 马 占 山 李杜 唐 聚 伍 苏 炳 艾 邓 铁梅 等 也 奋起 抗战' # } ## 基准评测结果 基于FluidAudio CTC zh-CN模型（parakeet-ctc-0.6b-zh-cn）开展测试： - **平均字符错误率（Character Error Rate, CER）：** 8.37%（基于100个样本） - **字符错误率中位数：** 6.67% - **69%的样本字符错误率低于10%** ## 引用格式 bibtex @article{wang2015thchs, title={THCHS-30: A Free Chinese Speech Corpus}, author={Wang, Dong and Zhang, Xuewei}, journal={arXiv preprint arXiv:1512.01882}, year={2015} } ## 来源信息 - **原始数据集地址：** http://www.openslr.org/18/ - **相关论文地址：** https://arxiv.org/abs/1512.01882 本仓库仅包含该数据集的测试子集，以简化基准评测流程。

搜集汇总

数据集介绍

构建方式

在中文语音识别研究领域，THCHS-30测试集的构建体现了严谨的学术规范。该数据集源自THCHS-30完整语料库，通过系统划分提取出独立的测试子集，专门用于模型性能评估。其音频样本均以16kHz采样率录制，确保了与主流语音处理系统的兼容性。数据来源于公开的语音资源库，经过标准化切割与标注，形成了包含2,495条样本的测试集合，涉及10位发音人，覆盖了多样化的发音风格与文本内容。

特点

该数据集的核心特征在于其纯粹性与针对性。作为专门用于基准测试的子集，它剔除了训练与验证数据，避免了评估过程中的数据泄露风险。所有音频均采用单通道、16位深度的WAV格式存储，文本标注严格对应音频内容，并遵循中文分词规范。数据规模适中，既保证了评估效率，又能有效反映模型在真实场景下的识别能力。其标注文本包含丰富的专有名词与复杂句式，对语音识别系统的泛化性能提出了较高要求。

使用方法

研究人员可通过HuggingFace平台直接加载该数据集进行模型测试。使用datasets库的load_dataset函数即可获取结构化的音频与文本数据对。典型应用流程包括加载数据、预处理音频波形、输入语音识别模型进行推理，并将输出文本与标注进行对比以计算字错误率等指标。该数据集特别适合作为中文语音识别模型的标准化测试基准，其简洁的接口设计允许研究者快速集成到现有评估框架中，从而专注于模型性能的横向比较与优化分析。

背景与挑战

背景概述

THCHS-30数据集由清华大学于2015年发布，是面向中文普通话语音识别研究的重要开源资源。该数据集由王东和张学伟等研究人员构建，旨在解决中文语音识别领域数据稀缺的核心问题，特别关注在复杂声学环境下的语音信号处理与文本转录准确性。其发布显著推动了中文语音识别技术的发展，为学术界和工业界提供了标准化的评测基准，促进了深度学习模型在语音处理中的应用与优化。

当前挑战

THCHS-30数据集所针对的领域挑战在于中文语音识别中声调变化、同音词歧义以及背景噪声干扰等复杂问题，这些因素增加了模型准确转录的难度。在构建过程中，数据集面临采集环境多样性控制、说话人语音质量一致性维护以及大规模语音标注成本高昂等挑战，这些因素共同影响了数据集的代表性与泛化能力，对后续模型训练与评估提出了更高要求。

常用场景

经典使用场景

在中文语音识别领域，THCHS-30-tests数据集作为标准化的评估基准，广泛应用于模型性能的客观衡量。其经典使用场景在于为研究人员提供统一的测试平台，通过计算字符错误率等指标，系统比较不同语音识别架构在普通话环境下的准确性与鲁棒性。该数据集的高质量标注与规范化的音频采样，确保了评估过程的严谨性与可重复性，成为推动中文语音技术迭代的重要工具。

实际应用

在实际应用中，THCHS-30-tests数据集为智能语音助手、实时转录系统及交互式语音设备提供了关键的验证基础。基于该数据集的测试结果，工程师能够精准调优语音识别引擎，提升其在嘈杂环境或多方言场景下的适应性。这不仅推动了消费电子产品的体验升级，也为教育、医疗、客服等行业的语音交互解决方案奠定了坚实的技术支撑。

衍生相关工作

围绕THCHS-30-tests数据集，衍生了一系列经典研究工作，包括基于深度学习的端到端识别模型、多任务学习框架及低资源语音识别方法。许多知名语音团队利用该数据集验证了卷积神经网络、循环神经网络及Transformer架构在中文任务上的有效性。这些工作不仅丰富了语音识别的技术图谱，也为后续更大规模中文语料库的构建与应用提供了重要的方法论参考。