imvladikon/hebrew_speech_coursera

Name: imvladikon/hebrew_speech_coursera
Creator: imvladikon
Published: 2023-05-05 09:05:00
License: 暂无描述

Hugging Face2023-05-05 更新2024-03-04 收录

下载链接：

https://hf-mirror.com/datasets/imvladikon/hebrew_speech_coursera

下载链接

链接失效反馈

官方服务：

资源简介：

--- task_categories: - automatic-speech-recognition language: - he dataset_info: features: - name: audio dtype: audio: sampling_rate: 16000 - name: sentence dtype: string splits: - name: train num_bytes: 6670706136.352 num_examples: 20306 - name: validation num_bytes: 1648062261.28 num_examples: 5076 download_size: 7726933856 dataset_size: 8318768397.632 size_categories: - 1K<n<10K --- # Dataset Card for Dataset Name ## Dataset Description - **Homepage:** - **Repository:** - **Paper:** - **Leaderboard:** - **Point of Contact:** ### Dataset Summary This dataset card aims to be a base template for new datasets. It has been generated using [this raw template](https://github.com/huggingface/huggingface_hub/blob/main/src/huggingface_hub/templates/datasetcard_template.md?plain=1). ### Supported Tasks and Leaderboards [More Information Needed] ### Languages [More Information Needed] ## Dataset Structure ### Data Instances ```json {'audio': {'path': '/root/.cache/huggingface/datasets/downloads/extracted/89efd3a0fa3ead3f0b8e432e8796697a738d4561b24ff91f4fb2cc25d86e9fb0/train/ccef55189b7843d49110228cb0a71bfa115.wav', 'array': array([-0.01217651, -0.04351807, -0.06278992, ..., -0.00018311, -0.00146484, -0.00349426]), 'sampling_rate': 16000}, 'sentence': 'מצד אחד ובתנועה הציונית הצעירה'} ``` ### Data Fields [More Information Needed] ### Data Splits | | train | validation | | ---- | ----- | ---------- | | number of samples | 20306 | 5076 | | hours | 28.88 | 7.23 | ## Dataset Creation ### Curation Rationale [More Information Needed] ### Source Data #### Initial Data Collection and Normalization [More Information Needed] #### Who are the source language producers? [More Information Needed] ### Annotations #### Annotation process [More Information Needed] #### Who are the annotators? [More Information Needed] ### Personal and Sensitive Information [More Information Needed] ## Considerations for Using the Data ### Social Impact of Dataset [More Information Needed] ### Discussion of Biases [More Information Needed] ### Other Known Limitations [More Information Needed] ## Additional Information ### Dataset Curators [More Information Needed] ### Licensing Information [More Information Needed] ### Citation Information ``` @misc{imvladikon2022hebrew_speech_coursera, author = {Gurevich, Vladimir}, title = {Hebrew Speech Recognition Dataset: Coursera}, year = {2022}, howpublished = \url{https://huggingface.co/datasets/imvladikon/hebrew_speech_coursera}, } ``` ### Contributions [More Information Needed]

任务类别： - 自动语音识别（automatic-speech-recognition）语言： - 希伯来语（he）数据集信息：数据特征： - 名称：audio（音频）数据类型：音频：采样率：16000 Hz - 名称：sentence（句子）数据类型：字符串数据划分集： - 名称：train（训练集）字节大小：6670706136.352 样本数量：20306 - 名称：validation（验证集）字节大小：1648062261.28 样本数量：5076 下载大小：7726933856 字节总数据集大小：8318768397.632 字节样本规模类别： - 1000 < 样本数 < 10000 # 数据集名称数据集卡片 ## 数据集描述 - **主页**：无 - **代码仓库**：无 - **相关论文**：无 - **排行榜**：无 - **联系人**：无 ### 数据集摘要本数据集卡片旨在作为新建数据集的基础模板，其基于[此原始模板](https://github.com/huggingface/huggingface_hub/blob/main/src/huggingface_hub/templates/datasetcard_template.md?plain=1)生成。 ### 支持任务与排行榜 [需要更多信息] ### 语言 [需要更多信息] ## 数据集结构 ### 数据实例 json {'audio': {'path': '/root/.cache/huggingface/datasets/downloads/extracted/89efd3a0fa3ead3f0b8e432e8796697a738d4561b24ff91f4fb2cc25d86e9fb0/train/ccef55189b7843d49110228cb0a71bfa115.wav', 'array': array([-0.01217651, -0.04351807, -0.06278992, ..., -0.00018311, -0.00146484, -0.00349426]), 'sampling_rate': 16000}, 'sentence': 'מצד אחד ובתנועה הציונית הצעירה'}} ### 数据字段 [需要更多信息] ### 数据划分 | | 训练集 | 验证集 | | ---- | ----- | ---------- | | 样本数量 | 20306 | 5076 | | 时长（小时） | 28.88 | 7.23 | ## 数据集创建 ### 筛选依据 [需要更多信息] ### 源数据 #### 初始数据收集与标准化 [需要更多信息] #### 源语言数据的生产者为谁？ [需要更多信息] ### 标注 #### 标注流程 [需要更多信息] #### 标注人员为谁？ [需要更多信息] ### 个人与敏感信息 [需要更多信息] ## 数据使用注意事项 ### 数据集的社会影响 [需要更多信息] ### 偏差讨论 [需要更多信息] ### 其他已知局限性 [需要更多信息] ## 附加信息 ### 数据集管理员 [需要更多信息] ### 授权信息 [需要更多信息] ### 引用信息 @misc{imvladikon2022hebrew_speech_coursera, author = {Gurevich, Vladimir}, title = {希伯来语语音识别数据集：Coursera}, year = {2022}, howpublished = url{https://huggingface.co/datasets/imvladikon/hebrew_speech_coursera}, } ### 贡献情况 [需要更多信息]

提供机构：

imvladikon

原始信息汇总

数据集概述

任务类别

自动语音识别

语言

希伯来语（he）

数据集信息

特征：
- 音频：
  - 采样率：16000 Hz
- 句子：字符串类型
数据分割：
- 训练集：
  - 样本数：20306
  - 数据大小：6670706136.352字节
- 验证集：
  - 样本数：5076
  - 数据大小：1648062261.28字节
下载大小：7726933856字节
数据集总大小：8318768397.632字节

数据集结构

数据实例： json { "audio": { "path": "/root/.cache/huggingface/datasets/downloads/extracted/89efd3a0fa3ead3f0b8e432e8796697a738d4561b24ff91f4fb2cc25d86e9fb0/train/ccef55189b7843d49110228cb0a71bfa115.wav", "array": array([-0.01217651, -0.04351807, -0.06278992, ..., -0.00018311, -0.00146484, -0.00349426]), "sampling_rate": 16000 }, "sentence": "מצד אחד ובתנועה הציונית הצעירה" }
数据字段：
- 音频（包含路径、数组、采样率）
- 句子（文本）
数据分割详情：

训练集验证集

样本数 20306 5076

小时数 28.88 7.23

引用信息

@misc{imvladikon2022hebrew_speech_coursera, author = {Gurevich, Vladimir}, title = {Hebrew Speech Recognition Dataset: Coursera}, year = {2022}, howpublished = url{https://huggingface.co/datasets/imvladikon/hebrew_speech_coursera}, }

搜集汇总

数据集介绍

构建方式

该数据集名为hebrew_speech_coursera，专为希伯来语自动语音识别任务而构建。数据来源于Coursera平台上的希伯来语课程音频，经过采集与标准化处理，所有音频被统一重采样至16kHz采样率，并配以对应的文本转录。数据集被划分为训练集和验证集，其中训练集包含20,306个样本，对应约28.88小时语音；验证集包含5,076个样本，对应约7.23小时语音，整体规模为1K至10K之间。每条数据包含音频路径、音频数组及采样率信息，与转录文本一一对应，确保了语音与文本的精确对齐。

特点

该数据集的一大特点在于其专注于希伯来语语音识别，填补了低资源语言在公开语音数据集方面的空白。音频与文本转录均经过精心匹配，数据格式简洁明确，便于直接用于模型训练与评估。数据来源为Coursera课程，语音内容涵盖学术与教育场景，具有较高的语言多样性和自然度。此外，数据集提供了标准的训练/验证划分，用户无需自行分割，可直接投入深度学习框架使用。音频以16kHz采样率存储，符合主流语音识别系统的输入规范。

使用方法

使用该数据集时，用户可通过HuggingFace的datasets库直接加载，无需额外下载与预处理。加载后，每条数据以字典形式呈现，包含'audio'和'sentence'两个字段。'audio'字段内含音频路径、数组及采样率，可直接输入至语音识别模型；'sentence'字段为对应的文本转录，用于监督学习。建议将训练集用于模型训练，验证集用于超参数调优与性能评估。数据集的简洁结构使其易于集成到诸如Whisper、Wav2Vec2等主流语音识别框架中，仅需通过简单的数据加载器即可实现批量处理与训练。

背景与挑战

背景概述

在自动语音识别（ASR）领域，希伯来语作为一种闪米特语族语言，因其独特的形态句法结构和匮乏的标注语料资源，长期处于研究边缘地带。由Vladimir Gurevich于2022年创建的Hebrew Speech Coursera数据集，旨在填补这一空白，为希伯来语ASR模型训练提供高质量、大规模的真实语音数据。该数据集源自Coursera在线课程平台，包含超过36小时的语音录音，涵盖多样化的学术主题和自然口语表达，其核心研究问题聚焦于低资源语言在深度学习框架下的声学建模与端到端识别。作为希伯来语语音识别领域首个公开的大规模基准数据集，它显著推动了该语言在智能助手、教育科技及语音搜索等应用中的发展，为后续研究奠定了关键的数据基础。

当前挑战

该数据集面临的挑战首先体现在希伯来语本身的领域难题：其无元音书写系统与丰富的形态变化导致词边界模糊，声学模型需同时处理音素变体与词汇歧义，这对传统序列到序列模型构成严峻考验。其次，构建过程中遭遇多重技术壁垒——数据源自不同授课者的在线课程，背景噪音、语速差异及口音多样性（如本土以色列口音与离散社区口音并存）使得标注一致性难以保证；此外，原始音频需经历复杂的降采样、对齐与分割流程，而仅2.5万条样本的规模对于深度学习模型而言仍显不足，易引发过拟合风险，亟需数据增强与迁移学习策略加以缓解。

常用场景

经典使用场景

在自动语音识别（ASR）领域，希伯来语作为一种资源稀缺的语言，其语音数据的匮乏长期制约着相关技术的发展。imvladikon/hebrew_speech_coursera数据集应运而生，它包含了超过28小时的训练音频和7小时的验证音频，所有语音均以16kHz采样率录制，并配有精确的文本转写。该数据集最经典的使用场景是训练端到端的希伯来语音识别模型，例如基于Transformer的语音识别架构或传统的混合模型，能够有效提升模型对希伯来语语音特征的捕捉能力，尤其在处理其独特的构词法和音系规则时展现出显著优势。

衍生相关工作

围绕该数据集，学术界与工业界已衍生出多项具有影响力的经典工作。在模型架构层面，研究者基于此数据集提出了针对希伯来语发音特点优化的音素增强型语音识别模型，通过引入语言学先验知识提升了识别鲁棒性。在训练范式上，一系列工作探索了将多语言预训练模型（如Wav2Vec 2.0）在该数据集上进行微调的迁移策略，验证了跨语言声学特征共享的有效性。此外，该数据集还被用于构建希伯来语语音情感识别与说话人验证的基准测试，拓展了其在非ASR任务中的研究边界。

数据集最近研究