raoel/codeparrot-dataset-tokenized

---
dataset_info:
features:
- name: input_ids
sequence: int32
splits:
- name: train
num_bytes: 707172840
num_examples: 1370490
- name: valid
num_bytes: 7148664
num_examples: 13854
download_size: 313437276
dataset_size: 714321504
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
- split: valid
path: data/valid-*
---

原始信息汇总

数据集概述

特征

• input_ids: 数据类型为 int32 的序列。

数据分割

• train: 包含 1370490 个样本，占用 707172840 字节。
• valid: 包含 13854 个样本，占用 7148664 字节。

数据大小

• 下载大小: 313437276 字节。
• 数据集大小: 714321504 字节。

配置

• default:
  • train: 数据文件路径为 data/train-*。
  • valid: 数据文件路径为 data/valid-*。