datablations/c4-subsets

该数据集包含C4数据集的多个子集，每个子集包含使用GPT2Tokenizer测量的不同数量的令牌。这些数据用于支持论文Scaling Data-Constrained Language Models。

---
许可证：CC0 1.0协议
语言：
- 英语
---
## 数据集说明

- **代码仓库：** https://github.com/huggingface/datablations
- **相关论文：** [《受限数据下的大语言模型缩放》](https://arxiv.org/abs/2305.16264)
- **联系人：** [Niklas Muennighoff](mailto:[e-mail])

### 数据集摘要

本数据集包含[C4](https://huggingface.co/datasets/allenai/c4)的多个子集，各子集的词元（Token）数量通过GPT2分词器（GPT2Tokenizer）统计得到。
该数据集已被应用于论文[《受限数据下的大语言模型缩放》](https://arxiv.org/abs/2305.16264)中。
更多细节请参阅[我们的GitHub代码仓库](https://github.com/huggingface/datablations)。

bibtex
@article{muennighoff2023scaling,
title={Scaling Data-Constrained Language Models},
author={Muennighoff, Niklas and Rush, Alexander M and Barak, Boaz and Scao, Teven Le and Piktus, Aleksandra and Tazi, Nouamane and Pyysalo, Sampo and Wolf, Thomas and Raffel, Colin},
journal={arXiv preprint arXiv:2305.16264},
year={2023}
}

原始信息汇总

数据集概述

• 数据集名称： C4的各个子集
• 数据集内容： 包含不同数量的标记，使用GPT2Tokenizer进行测量。
• 数据集用途： 用于支持论文《Scaling Data-Constrained Language Models》的研究。
• 数据集来源： 基于C4数据集。
• 详细信息： 更多详情请参考GitHub仓库。

数据集联系人

• 联系人： Niklas Muennighoff
• 联系方式： [e-mail]

数据集许可证

• 许可证： CC0-1.0