openslr/librispeech_lm

---
annotations_creators:
- no-annotation
language:
- en
language_creators:
- found
license:
- cc0-1.0
multilinguality:
- monolingual
pretty_name: LibrispeechLm
size_categories:
- 10M<n<100M
source_datasets:
- original
task_categories:
- text-generation
task_ids:
- language-modeling
paperswithcode_id: null
dataset_info:
features:
- name: text
dtype: string
splits:
- name: train
num_bytes: 4418577129
num_examples: 40418260
download_size: 1507274412
dataset_size: 4418577129
---

# Dataset Card for "librispeech_lm"

## Table of Contents
- [Dataset Description](#dataset-description)
- [Dataset Summary](#dataset-summary)
- [Supported Tasks and Leaderboards](#supported-tasks-and-leaderboards)
- [Languages](#languages)
- [Dataset Structure](#dataset-structure)
- [Data Instances](#data-instances)
- [Data Fields](#data-fields)
- [Data Splits](#data-splits)
- [Dataset Creation](#dataset-creation)
- [Curation Rationale](#curation-rationale)
- [Source Data](#source-data)
- [Annotations](#annotations)
- [Personal and Sensitive Information](#personal-and-sensitive-information)
- [Considerations for Using the Data](#considerations-for-using-the-data)
- [Social Impact of Dataset](#social-impact-of-dataset)
- [Discussion of Biases](#discussion-of-biases)
- [Other Known Limitations](#other-known-limitations)
- [Additional Information](#additional-information)
- [Dataset Curators](#dataset-curators)
- [Licensing Information](#licensing-information)
- [Citation Information](#citation-information)
- [Contributions](#contributions)

## Dataset Description

- **Homepage:** [http://www.openslr.org/11](http://www.openslr.org/11)
- **Repository:** [More Information Needed](https://github.com/huggingface/datasets/blob/master/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)
- **Paper:** [More Information Needed](https://github.com/huggingface/datasets/blob/master/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)
- **Point of Contact:** [More Information Needed](https://github.com/huggingface/datasets/blob/master/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)
- **Size of downloaded dataset files:** 1.51 GB
- **Size of the generated dataset:** 4.42 GB
- **Total amount of disk used:** 5.93 GB

### Dataset Summary

Language modeling resources to be used in conjunction with the LibriSpeech ASR corpus.

### Supported Tasks and Leaderboards

[More Information Needed](https://github.com/huggingface/datasets/blob/master/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

### Languages

[More Information Needed](https://github.com/huggingface/datasets/blob/master/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

## Dataset Structure

### Data Instances

#### default

- **Size of downloaded dataset files:** 1.51 GB
- **Size of the generated dataset:** 4.42 GB
- **Total amount of disk used:** 5.93 GB

An example of 'train' looks as follows.
```
{
"text": "This is a test file"
}
```

### Data Fields

The data fields are the same among all splits.

#### default
- `text`: a `string` feature.

### Data Splits

| name | train |
|-------|-------:|
|default|40418260|

## Dataset Creation

### Curation Rationale

[More Information Needed](https://github.com/huggingface/datasets/blob/master/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

### Source Data

#### Initial Data Collection and Normalization

[More Information Needed](https://github.com/huggingface/datasets/blob/master/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

#### Who are the source language producers?

[More Information Needed](https://github.com/huggingface/datasets/blob/master/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

### Annotations

#### Annotation process

[More Information Needed](https://github.com/huggingface/datasets/blob/master/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

#### Who are the annotators?

[More Information Needed](https://github.com/huggingface/datasets/blob/master/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

### Personal and Sensitive Information

[More Information Needed](https://github.com/huggingface/datasets/blob/master/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

## Considerations for Using the Data

### Social Impact of Dataset

[More Information Needed](https://github.com/huggingface/datasets/blob/master/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

### Discussion of Biases

[More Information Needed](https://github.com/huggingface/datasets/blob/master/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

### Other Known Limitations

[More Information Needed](https://github.com/huggingface/datasets/blob/master/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

## Additional Information

### Dataset Curators

[More Information Needed](https://github.com/huggingface/datasets/blob/master/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

### Licensing Information

[More Information Needed](https://github.com/huggingface/datasets/blob/master/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

### Citation Information

```
@inproceedings{panayotov2015librispeech,
title={Librispeech: an ASR corpus based on public domain audio books},
author={Panayotov, Vassil and Chen, Guoguo and Povey, Daniel and Khudanpur, Sanjeev},
booktitle={Acoustics, Speech and Signal Processing (ICASSP), 2015 IEEE International Conference on},
pages={5206--5210},
year={2015},
organization={IEEE}
}

```

### Contributions

Thanks to [@lewtun](https://github.com/lewtun), [@jplu](https://github.com/jplu), [@thomwolf](https://github.com/thomwolf) for adding this dataset.

annotations_creators:
- 无注释
language:
- 英语（en）
language_creators:
- 公开已存在语料
license:
- CC0 1.0
multilinguality:
- 单语言
pretty_name: LibrispeechLm
size_categories:
- 1000万<n<1亿
source_datasets:
- 原始数据集
task_categories:
- 文本生成
task_ids:
- 语言建模
paperswithcode_id: 无
dataset_info:
features:
- name: text
dtype: string
splits:
- name: train
num_bytes: 4418577129
num_examples: 40418260
download_size: 1507274412
dataset_size: 4418577129

# "librispeech_lm" 数据集卡片
## 目录
- [数据集描述](#dataset-description)
- [数据集摘要](#dataset-summary)
- [支持任务与排行榜](#supported-tasks-and-leaderboards)
- [语言](#languages)
- [数据集结构](#dataset-structure)
- [数据实例](#data-instances)
- [数据字段](#data-fields)
- [数据划分](#data-splits)
- [数据集构建](#dataset-creation)
- [构建逻辑](#curation-rationale)
- [源数据](#source-data)
- [注释](#annotations)
- [个人与敏感信息](#personal-and-sensitive-information)
- [数据使用注意事项](#considerations-for-using-the-data)
- [数据集的社会影响](#social-impact-of-dataset)
- [偏差讨论](#discussion-of-biases)
- [其他已知局限](#other-known-limitations)
- [附加信息](#additional-information)
- [数据集维护者](#dataset-curators)
- [许可信息](#licensing-information)
- [引用信息](#citation-information)
- [贡献](#contributions)

## 数据集描述
- **主页**：[http://www.openslr.org/11](http://www.openslr.org/11)
- **代码仓库**：[更多信息待补充](https://github.com/huggingface/datasets/blob/master/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)
- **相关论文**：[更多信息待补充](https://github.com/huggingface/datasets/blob/master/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)
- **联系人**：[更多信息待补充](https://github.com/huggingface/datasets/blob/master/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)
- **下载数据集文件大小**：1.51 GB
- **生成后数据集大小**：4.42 GB
- **总磁盘占用**：5.93 GB

### 数据集摘要
本数据集为配合LibriSpeech自动语音识别（ASR, Automatic Speech Recognition）语料库使用的语言建模资源。

### 支持任务与排行榜
[更多信息待补充](https://github.com/huggingface/datasets/blob/master/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

### 语言
[更多信息待补充](https://github.com/huggingface/datasets/blob/master/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

## 数据集结构
### 数据实例
#### 默认配置
- **下载文件大小**：1.51 GB
- **生成后数据集大小**：4.42 GB
- **总磁盘占用**：5.93 GB

训练集的一个示例如下：

{
"text": "This is a test file"
}

### 数据字段
所有数据划分下的字段均保持一致：
#### 默认配置
- `text`：字符串类型特征。

### 数据划分
| 划分名称 | 训练集样本数 |
|-------|-------:|
|默认|40418260|

## 数据集构建
### 构建逻辑
[更多信息待补充](https://github.com/huggingface/datasets/blob/master/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

### 源数据
#### 初始数据采集与标准化
[更多信息待补充](https://github.com/huggingface/datasets/blob/master/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

#### 源语言生成者是谁？
[更多信息待补充](https://github.com/huggingface/datasets/blob/master/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

### 注释
#### 注释流程
[更多信息待补充](https://github.com/huggingface/datasets/blob/master/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

#### 注释者是谁？
[更多信息待补充](https://github.com/huggingface/datasets/blob/master/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

### 个人与敏感信息
[更多信息待补充](https://github.com/huggingface/datasets/blob/master/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

## 数据使用注意事项
### 数据集的社会影响
[更多信息待补充](https://github.com/huggingface/datasets/blob/master/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

### 偏差讨论
[更多信息待补充](https://github.com/huggingface/datasets/blob/master/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

### 其他已知局限
[更多信息待补充](https://github.com/huggingface/datasets/blob/master/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

## 附加信息
### 数据集维护者
[更多信息待补充](https://github.com/huggingface/datasets/blob/master/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

### 许可信息
[更多信息待补充](https://github.com/huggingface/datasets/blob/master/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

### 引用信息

@inproceedings{panayotov2015librispeech,
title={LibriSpeech：基于公有领域有声书的ASR语料库},
author={Panayotov, Vassil and Chen, Guoguo and Povey, Daniel and Khudanpur, Sanjeev},
booktitle={2015年IEEE声学、语音与信号处理国际会议（ICASSP）},
pages={5206--5210},
year={2015},
organization={IEEE}
}

### 贡献
感谢[@lewtun](https://github.com/lewtun)、[@jplu](https://github.com/jplu)、[@thomwolf](https://github.com/thomwolf) 为本数据集的收录提供支持。

原始信息汇总

数据集概述

• 名称: LibrispeechLm
• 语言: 英语 (en)
• 多语言性: 单语种
• 许可证: CC0-1.0
• 数据集大小: 10M<n<100M
• 源数据: 原始数据
• 任务类别: 文本生成
• 任务ID: 语言建模

数据集结构

• 特征:
  • text: 字符串类型
• 数据分割:
  • train: 40418260 个样本, 4418577129 字节
• 下载大小: 1.51 GB
• 数据集大小: 4.42 GB

数据集创建

• 注释创建者: 无注释
• 个人和敏感信息: 信息缺失

使用数据注意事项

• 社会影响: 信息缺失
• 偏见讨论: 信息缺失
• 其他已知限制: 信息缺失

附加信息

• 数据集管理员: 信息缺失

• 许可证信息: 信息缺失

• 引用信息:

  @inproceedings{panayotov2015librispeech, title={Librispeech: an ASR corpus based on public domain audio books}, author={Panayotov, Vassil and Chen, Guoguo and Povey, Daniel and Khudanpur, Sanjeev}, booktitle={Acoustics, Speech and Signal Processing (ICASSP), 2015 IEEE International Conference on}, pages={5206--5210}, year={2015}, organization={IEEE} }

• 贡献者: @lewtun, @jplu, @thomwolf

搜集汇总

数据集介绍

构建方式

LibrispeechLm数据集作为LibriSpeech自动语音识别（ASR）语料库的配套资源，其构建过程主要依赖于公开领域的音频书籍文本。这些文本经过精心筛选和整理，确保了数据的广泛性和代表性。数据集的构建遵循了严格的标准化流程，以确保文本的一致性和质量，从而为语言模型训练提供了坚实的基础。

特点

LibrispeechLm数据集以其大规模和高质量著称，包含超过4000万条文本实例，总数据量达到4.42 GB。数据集以纯文本形式呈现，每条记录包含一个字符串字段，适用于多种语言模型任务。其单语种（英语）特性使得其在特定语言模型研究中具有重要价值，同时其公开领域来源确保了数据的广泛可用性和合法性。

使用方法

LibrispeechLm数据集主要用于语言模型的训练和评估。用户可以通过Hugging Face平台轻松下载和加载数据集，利用其丰富的文本资源进行模型训练。数据集的结构简单明了，仅包含一个文本字段，便于直接应用于各种自然语言处理任务。研究人员和开发者可以通过该数据集验证和优化语言模型的性能，推动相关领域的技术进步。

背景与挑战

背景概述

LibrispeechLm数据集作为LibriSpeech自动语音识别（ASR）语料库的补充资源，专注于语言建模任务。该数据集由OpenSLR项目于2015年发布，主要研究人员包括Vassil Panayotov、Guoguo Chen、Daniel Povey和Sanjeev Khudanpur。其核心研究问题在于如何通过大规模文本数据提升语言模型的性能，尤其是在语音识别领域中的应用。LibrispeechLm的发布极大地推动了自然语言处理领域的发展，特别是在语音识别和语言生成任务中，为研究者提供了丰富的训练资源。

当前挑战

LibrispeechLm数据集在解决语言建模问题时面临多重挑战。首先，语言建模任务本身要求模型能够准确预测下一个词或序列，这对模型的上下文理解能力和泛化能力提出了极高要求。其次，数据集的构建过程中，如何从公开领域的音频书籍中提取并规范化文本数据，确保数据的多样性和代表性，是一个复杂且耗时的过程。此外，数据集的规模庞大，处理和分析这些数据需要高性能计算资源，这对研究者的硬件条件提出了较高要求。

常用场景

经典使用场景

LibrispeechLm数据集在自然语言处理领域中被广泛用于语言模型的训练和评估。其庞大的文本数据量和高质的语料库使其成为研究者在开发新型语言模型时的首选资源。通过该数据集，研究者能够深入探索语言生成、文本预测等核心任务，推动语言模型技术的进步。

实际应用

在实际应用中，LibrispeechLm数据集被广泛用于语音识别系统的开发与优化。通过结合该数据集的文本资源，语音识别系统能够更准确地理解和生成自然语言，提升用户体验。此外，该数据集还被应用于智能助手、自动翻译等实际场景，推动了人工智能技术的普及与应用。

衍生相关工作

基于LibrispeechLm数据集，研究者们开发了多种经典的语言模型和算法。例如，该数据集被用于训练和评估Transformer模型，推动了深度学习在自然语言处理领域的应用。此外，许多开源项目和学术论文也以该数据集为基础，探索了语言模型在不同任务中的表现，为后续研究提供了宝贵的参考。