jspaulsen/wikipedia-utterances

---
license: cc-by-sa-4.0
dataset_info:
features:
- name: title
dtype: string
- name: text
dtype: string
splits:
- name: train
num_bytes: 18070709909
num_examples: 121082466
download_size: 9046108313
dataset_size: 18070709909
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
---

# Wikipedia Utterances

Text segments extracted from English Wikipedia, segmented into utterance-length chunks suitable for text-to-speech synthesis.

## Dataset Description

This dataset contains ~41M text utterances derived from the [wikimedia/wikipedia](https://huggingface.co/datasets/wikimedia/wikipedia) dataset (20231101.en snapshot). Each row contains:

| Field | Type | Description |
|-------|------|-------------|
| `title` | string | The Wikipedia article title |
| `text` | string | A text segment (10-4,880 characters) |
| `duration` | float | Estimated speech duration in seconds (at 150 WPM) |

## Processing

The transformation pipeline:

1. Tokenizes Wikipedia articles into paragraphs and sentences using NLTK
2. Combines consecutive sentences targeting 15-30 second utterances
3. Strips bracketed content (parentheses, braces, square brackets)
4. Filters for valid utterances ending in sentence-final punctuation

See `transform_wikipedia.py` in this repository for the full implementation.

## Usage

```python
from datasets import load_dataset

dataset = load_dataset("jspaulsen/wikipedia-utterances", split="train")
```

## License

This dataset is released under [CC BY-SA 4.0](https://creativecommons.org/licenses/by-sa/4.0/), consistent with the original Wikipedia content license.

## Citation

If you use this dataset, please cite the original Wikimedia source:

```bibtex
@ONLINE{wikidump,
author = "Wikimedia Foundation",
title = "Wikimedia Downloads",
url = "https://dumps.wikimedia.org"
}
```

许可证：CC BY-SA 4.0
数据集信息：
特征字段：
- 字段名：标题（title）
数据类型：字符串（string）
- 字段名：文本（text）
数据类型：字符串（string）
划分集：
- 划分集名称：训练集（train）
字节数：18070709909
样本数量：121082466
下载大小：9046108313
数据集总大小：18070709909
配置项：
- 配置名称：默认（default）
数据文件：
- 划分集：训练集（train）
文件路径：data/train-*

# 维基百科语句语料库（Wikipedia Utterances）

本数据集提取自英文维基百科的文本片段，被切分为适配文本转语音合成的语句长度区块。

## 数据集说明

本数据集包含约4100万条文本语句，源自[wikimedia/wikipedia](https://huggingface.co/datasets/wikimedia/wikipedia)数据集（20231101.en快照版本）。每一行数据包含以下字段：

| 字段名 | 数据类型 | 描述 |
|-------|----------|------|
| `title` | 字符串（string） | 维基百科文章标题 |
| `text` | 字符串（string） | 单条文本片段，字符长度范围为10至4880 |
| `duration` | 浮点型（float） | 以每分钟150词（WPM）的语速估算的语音时长，单位为秒 |

## 处理流程

转换流程如下：
1. 借助自然语言工具包（Natural Language Toolkit，NLTK）将维基百科文章切分为段落与句子
2. 将连续句子合并为时长15至30秒的语句区块
3. 移除所有括号类内容（包括圆括号、花括号、方括号）
4. 筛选以句末标点结尾的有效语句区块

完整实现代码详见本仓库中的`transform_wikipedia.py`文件。

## 使用方法

可通过以下代码加载本数据集：
python
from datasets import load_dataset

dataset = load_dataset("jspaulsen/wikipedia-utterances", split="train")

## 许可证

本数据集采用[CC BY-SA 4.0](https://creativecommons.org/licenses/by-sa/4.0/)许可证发布，与原始维基百科内容的许可证保持一致。

## 引用方式

若您使用本数据集，请引用原始维基媒体来源：
bibtex
@ONLINE{wikidump,
author = "Wikimedia Foundation",
title = "Wikimedia Downloads",
url = "https://dumps.wikimedia.org"
}