parameterlab/scaling_mia_the_pile_00_arxiv

---
dataset_info:
features:
- name: text
dtype: string
- name: meta
struct:
- name: pile_set_name
dtype: string
splits:
- name: train
num_bytes: 3811000466
num_examples: 79046
- name: validation
num_bytes: 115675626
num_examples: 2434
- name: test
num_bytes: 113239914
num_examples: 2407
download_size: 1875191074
dataset_size: 4039916006
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
- split: validation
path: data/validation-*
- split: test
path: data/test-*
language:
- en
---

This dataset includes all arxiv documents from the 00.jsonl.zst partition of The Pile. It was created with this script:

```
pile_path = "data/the_pile/train/00.jsonl.zst"

with zstd.open(pile_path, 'r') as fr:
with open("/tmp/arxiv.jsonl", "w") as fw:
for i, line in enumerate(tqdm(fr)):
doc = json.loads(line)
source = doc['meta']['pile_set_name']
if source == "ArXiv":
fw.write(json.dumps(doc) + "\n")
```

The validation and test sets are the full official releases.

数据集信息：
特征字段：
- 字段名：text，数据类型：字符串
- 字段名：meta，为结构体类型，包含子字段：
- 子字段名：pile_set_name，数据类型：字符串
划分集：
- 划分名称：train，总字节数：3811000466，样本数量：79046
- 划分名称：validation，总字节数：115675626，样本数量：2434
- 划分名称：test，总字节数：113239914，样本数量：2407
下载大小：1875191074，数据集总大小：4039916006
配置项：
- 配置名称：default，数据文件路径：
- 对应train划分：data/train-*
- 对应validation划分：data/validation-*
- 对应test划分：data/test-*
语言：英语

本数据集涵盖The Pile的00.jsonl.zst分块中的全部arXiv论文文档。本数据集通过以下脚本构建：

pile_path = "data/the_pile/train/00.jsonl.zst"

with zstd.open(pile_path, 'r') as fr:
with open("/tmp/arxiv.jsonl", "w") as fw:
for i, line in enumerate(tqdm(fr)):
doc = json.loads(line)
source = doc['meta']['pile_set_name']
if source == "ArXiv":
fw.write(json.dumps(doc) + "
")

验证集与测试集均为官方发布的完整数据集。