sage-bergerson/eddacc_v1

EdAcc for Whisper数据集是一个用于自动语音识别任务的数据集，特别是用于微调Whisper模型。数据集包含音频片段和对应的转录文本，音频片段根据原始数据集的分段数据进行分割。数据集提供了用于微调（FT_data）和测试（EVAL_data）的预处理数据，包括tokenized transcripts和log-mel spectrogram输入特征。此外，数据集还包含了每个音频片段的口音信息。数据集的原始来源是Sanabria等人（2023）在ICASSP 2023会议上发表的论文。

The EdAcc for Whisper dataset is designed for automatic speech recognition tasks, specifically for fine-tuning the Whisper model. It includes audio segments and corresponding transcripts, with the audio segments segmented according to the original datasets segmentation data. The dataset provides preprocessed data for fine-tuning (FT_data) and testing (EVAL_data), including tokenized transcripts and log-mel spectrogram input features. Additionally, the dataset contains accent information for each audio segment. The original dataset is from a paper by Sanabria et al. (2023) presented at ICASSP 2023.

原始信息汇总

EdAcc for Whisper 数据集概述

基本信息

• 语言: 英语
• 许可证: CC BY-SA 4.0
• 任务类别: 自动语音识别
• 数据集名称: EdAcc for Whisper

数据集结构

特征

• code: 字符串类型
• accent: 字符串类型
• audio: 音频类型
• transcript: 字符串类型

数据分割

• train:
  • 文件大小: 12149441637.03 字节
  • 样本数量: 19137

文件大小

• 下载大小: 11644755849 字节
• 数据集大小: 12149441637.03 字节

配置

• config_name: default
  • 数据文件:
    • split: train
    • path: data/train-*

数据处理

• FT_data/tokens: 分词后的转录文本（使用 WhisperTokenizer）
• FT_data/features: 对数梅尔频谱图输入特征（使用 WhisperFeatureExtractor）
• EVAL_data/audio: 重新采样的音频
• EVAL_data/transcripts.csv: 音频转录文本
• accents.csv: 每个片段对应的口音数据

原始数据集来源

• 作者: Sanabria, R., Bogoychev, N., Markl, N., Carmantini, A., Klejch, O., & Bell, P.
• 出版物: ICASSP 2023 - 2023 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)
• DOI: 10.1109/ICASSP49357.2023.10095057