sippycoder/RedPajama-Data-1T-no-cc-c4|文本生成数据集|多源数据集数据集

Red Pajama 1T数据集是一个开源的文本生成数据集，源自`togethercomputer/RedPajama-Data-1T`，并移除了CommonCrawl和C4部分。该数据集包含2084个jsonl文件，总共有1570亿个token，主要用于文本生成任务。数据集主要包含英文文本，但Wikipedia部分包含多种语言。数据集的创建过程遵循了LLaMa论文的方法，尽可能复现其数据集的构建过程。数据集的各个子集（如CommonCrawl、C4、GitHub、Wikipedia等）都有详细的预处理步骤和来源描述。

原始信息汇总

数据集概述

基本信息

• 任务类别：文本生成
• 语言：英语
• 数据集名称：Red Pajama 1T (no CC & C4)

数据集组成

• 文件数量：2084个jsonl文件
• 数据结构： json { "text": ..., "meta": {"url": "...", "timestamp": "...", "source": "...", "language": "...", ...}, "red_pajama_subset": "common_crawl" | "c4" | "github" | "books" | "arxiv" | "wikipedia" | "stackexchange" }

数据集来源

• Commoncrawl：下载自Commoncrawl，经过去重和质量过滤。
• C4：下载自Huggingface，格式转换。
• GitHub：下载自Google BigQuery，去重和质量过滤，仅保留特定许可证项目。
• Wikipedia：下载自Huggingface，基于2023-03-20的Wikipedia dump，预处理去除了格式化内容。
• Gutenberg and Books3：下载自Huggingface，使用simhash去重。
• ArXiv：下载自Amazon S3，仅保留LaTeX源文件，去除预处理内容。
• Stackexchange：下载自Internet Archive，仅保留28个最大站点内容，去除HTML标签，组织成问答对。

数据集统计

• 总令牌数：1570亿
• 各部分令牌数：
  • GitHub: 590亿
  • Books: 260亿
  • ArXiv: 280亿
  • Wikipedia: 240亿
  • StackExchange: 200亿

下载与引用

• 下载方式：可通过HuggingFace或直接下载。

• 引用信息：

  @software{together2023redpajama, author = {Together Computer}, title = {RedPajama: An Open Source Recipe to Reproduce LLaMA training dataset}, month = April, year = 2023, url = {https://github.com/togethercomputer/RedPajama-Data} }

许可证

• 数据集使用需遵循各子集的许可证规定。