togethercomputer/RedPajama-Data-1T

RedPajama是一个用于文本生成任务的大型数据集，包含2084个jsonl文件，总token数达到1.2万亿。数据集主要使用英语，但也包含多语言的Wikipedia部分。数据集结构包括文本内容、元数据（如URL、时间戳、来源和语言）以及标识数据子集的字段。创建过程涉及从多个源（如Commoncrawl、C4、GitHub等）下载和预处理数据，以尽可能接近LLaMa论文的描述。

原始信息汇总

数据集概述

名称: RedPajama-Data-1T

任务类别: 文本生成

语言: 主要为英语，Wikipedia部分包含多语言

数据集结构: json { "text": ..., "meta": {"url": "...", "timestamp": "...", "source": "...", "language": "...", ...}, "red_pajama_subset": "common_crawl" | "c4" | "github" | "books" | "arxiv" | "wikipedia" | "stackexchange" }

数据集组成:

• 包含2084个jsonl文件
• 可通过HuggingFace或直接下载获取

数据集来源及处理:

• Commoncrawl: 下载自Commoncrawl，经过去重和质量过滤
• C4: 下载自Huggingface，格式转换
• GitHub: 下载自Google BigQuery，去重和质量过滤，仅保留特定开源许可项目
• Wikipedia: 下载自Huggingface，已预处理
• ArXiv: 下载自Amazon S3，仅保留LaTeX源文件并去除不必要部分
• StackExchange: 下载自Internet Archive，仅保留28个最大站点内容，去除HTML标签，组织为问答对

数据集大小:

• 总计1.2万亿token
• 各部分token数量如下:
  • Commoncrawl: 878亿
  • C4: 175亿
  • GitHub: 59亿
  • Books: 26亿
  • ArXiv: 28亿
  • Wikipedia: 24亿
  • StackExchange: 20亿

许可证:

• 请参考各数据子集的许可证

引用信息:

@software{together2023redpajama, author = {Together Computer}, title = {RedPajama: An Open Source Recipe to Reproduce LLaMA training dataset}, month = April, year = 2023, url = {https://github.com/togethercomputer/RedPajama-Data} }