lucadiliello/wikipedia_512_pretraining
收藏Hugging Face2023-03-24 更新2024-03-04 收录
下载链接：
https://hf-mirror.com/datasets/lucadiliello/wikipedia_512_pretraining
下载链接
链接失效反馈官方服务：
资源简介：
该数据集是用于模型预处理的维基百科数据，每个样本的平均标记长度为512个`RoBERTa-Base`标记。数据集包含训练、开发和测试三个分割，分别包含6,699,666、100,000和100,000个样本。数据集的总大小为10,121,415,196字节，下载大小为6,454,536,577字节。数据集的语言为英语。
该数据集是用于模型预处理的维基百科数据，每个样本的平均标记长度为512个`RoBERTa-Base`标记。数据集包含训练、开发和测试三个分割，分别包含6,699,666、100,000和100,000个样本。数据集的总大小为10,121,415,196字节，下载大小为6,454,536,577字节。数据集的语言为英语。
提供机构：
lucadiliello
原始信息汇总
数据集概述
基本信息
- 名称: Wikipedia preprocessed for 512 tokens pretraining
- 语言: 英语（en）
- 大小类别: 1M<n<10M
数据结构
- 特征:
text: 字符串类型
数据分割
- 训练集:
- 示例数量: 6699666
- 数据大小: 9828026640.785877字节
- 开发集:
- 示例数量: 100000
- 数据大小: 146694277.60706097字节
- 测试集:
- 示例数量: 100000
- 数据大小: 146694277.60706097字节
数据集大小
- 下载大小: 6454536577字节
- 数据集总大小: 10121415196字节
