vphu123/libri_whisper_base

---
dataset_info:
features:
- name: input_features
sequence:
sequence: float32
- name: input_length
dtype: float64
- name: labels
sequence: int64
splits:
- name: train
num_bytes: 27418458704
num_examples: 28539
- name: val
num_bytes: 2596462440
num_examples: 2703
- name: test
num_bytes: 2516732696
num_examples: 2620
download_size: 4886012298
dataset_size: 32531653840
---
# Dataset Card for "libri_whisper_base"

[More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

---
数据集信息:
特征项:
- 名称: input_features（输入特征）
序列:
序列: float32
- 名称: input_length（输入长度）
数据类型: float64
- 名称: labels（标签）
序列: int64
数据划分:
- 名称: train（训练集）
字节数: 27418458704
样本数: 28539
- 名称: val（验证集）
字节数: 2596462440
样本数: 2703
- 名称: test（测试集）
字节数: 2516732696
样本数: 2620
下载大小: 4886012298
数据集总大小: 32531653840
---
# 「libri_whisper_base」数据集卡片

[需补充更多信息](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

原始信息汇总

数据集概述

数据集名称

• 名称: libri_whisper_base

数据集特征

• 输入特征 (input_features):
  • 数据类型: float32
  • 序列类型: 序列
• 输入长度 (input_length):
  • 数据类型: float64
• 标签 (labels):
  • 数据类型: int64
  • 序列类型: 序列

数据集分割

• 训练集 (train):
  • 样本数: 28539
  • 存储大小: 27418458704 字节
• 验证集 (val):
  • 样本数: 2703
  • 存储大小: 2596462440 字节
• 测试集 (test):
  • 样本数: 2620
  • 存储大小: 2516732696 字节

数据集大小

• 下载大小: 4886012298 字节
• 数据集总大小: 32531653840 字节

搜集汇总

数据集介绍

构建方式

该数据集基于LibriSpeech语料库，通过Whisper Base模型提取音频的编码器隐藏状态作为输入特征，并保留了对应的文本转录标签。具体而言，将原始音频信号送入Whisper Base模型的前向传播过程，捕获其编码器输出的高维特征序列，同时记录每段音频的时长信息作为输入长度。数据集的划分沿用了LibriSpeech的标准训练、验证和测试集结构，其中训练集包含28539个样本，验证集与测试集分别包含2703和2620个样本，确保了评估的规范性与可比性。

特点

该数据集的核心特点在于将大规模预训练语音模型Whisper Base的中间表示作为特征，而非直接使用原始波形或传统声学特征。input_features字段为浮点型序列的序列，维度与Whisper Base编码器的输出对齐，具备丰富的上下文语义表征能力。labels字段为整数序列，对应文本转录的token化结果，便于直接用于序列到序列的语音识别任务。输入长度字段记录了每段样本的时长，为动态批处理或长度过滤提供了便利。整体数据规模约32.5GB，兼顾了特征丰富性与存储效率。

使用方法

使用者可通过HuggingFace Datasets库加载该数据集，利用其预提取的Whisper Base特征直接训练轻量级语音识别模型或进行特征迁移学习。在模型输入阶段，需将input_features作为编码器输入，labels作为解码器目标，并依据input_length进行序列填充与掩码处理。该数据集适用于研究语音特征的可迁移性、探索不同模型架构在固定特征空间上的表现，或作为快速原型验证的基准数据，无需重复进行Whisper模型的前向计算。

背景与挑战

背景概述

语音识别技术作为人机交互的核心环节，长期以来依赖大规模标注数据驱动模型性能的提升。LibriSpeech数据集作为开源语音识别领域的基石，为端到端模型提供了标准化的训练与评估基准。在此背景下，vphu123/libri_whisper_base数据集应运而生，由研究者基于OpenAI的Whisper模型架构，对LibriSpeech的音频特征进行深度编码与预处理，形成适配Whisper基座模型的输入格式。该数据集创建于2023年前后，主要研究团队致力于弥合通用语音模型与特定任务数据之间的表征鸿沟。通过将原始音频转化为Whisper模型需要的梅尔频谱特征序列（input_features）及对应的文本标签序列（labels），该数据集为语音识别领域提供了一种高效的数据迁移范式，对推动多语言、多场景下的弱监督语音预训练研究具有重要影响。

当前挑战

该数据集面临的核心挑战首先在于领域问题的复杂性：语音识别任务需应对口音多样性、背景噪声干扰及语速变化等声学变异，而Whisper基座模型对输入特征的固定维度要求，使得数据预处理阶段需在保留声学细节与压缩信息冗余之间取得平衡。其次，构建过程中遭遇显著的技术瓶颈：原始LibriSpeech音频需经Whisper的编码器提取高维梅尔频谱特征，该过程计算资源消耗巨大，且不同语段间的时长差异导致特征序列长度不均，需通过填充或截断策略统一至固定长度，这一操作可能引入信息损失或噪声。此外，标签序列的映射需对齐Whisper的字节对编码（BPE）词表，而LibriSpeech中的罕见词汇与特殊符号的编码转换易产生歧义，增加了数据标注的校验难度。

常用场景

经典使用场景

在语音识别与自然语言处理的交叉领域中，vphu123/libri_whisper_base数据集以其精心设计的特征结构，成为预训练语音模型微调与评估的经典基准。该数据集包含输入声学特征、序列长度及标签信息，特别适用于基于Transformer架构的端到端语音识别系统。研究者常利用其训练集对Whisper等预训练模型进行领域适配，并在验证集与测试集上系统性地评估词错误率与鲁棒性，从而推动低资源语音识别技术的进步。

实际应用

在真实应用场景中，该数据集支撑了智能语音助手、会议转写系统及辅助听力设备的算法迭代。企业研发团队可基于其结构化数据快速构建语音识别流水线，通过微调Whisper等模型实现多语种实时转录。在医疗领域，它被用于开发针对医学术语的专用语音识别模块，提升电子病历语音录入的准确率。此外，教育科技公司利用其评估语音评测系统的评分一致性，优化语言学习应用的发音反馈功能。

衍生相关工作

围绕该数据集衍生了多项经典工作，包括基于对比学习的语音表征优化方法、轻量化语音模型的蒸馏技术，以及跨模态知识迁移框架。研究者通过分析其输入特征与标签的统计特性，提出了动态序列长度归一化策略，显著提升了推理效率。后续工作还探索了利用该数据集进行语音情感识别与说话人验证的多任务学习，拓展了数据集的初始设计边界，为语音人工智能的通用表征学习奠定了方法论基础。