insub/codeparrot-ds-train-tokenized

---
dataset_info:
features:
- name: input_ids
sequence: int32
splits:
- name: train
num_bytes: 8618263476
num_examples: 16702061
- name: valid
num_bytes: 48072624
num_examples: 93164
download_size: 3804670316
dataset_size: 8666336100
---
# Dataset Card for "codeparrot-ds-train-tokenized"

[More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

数据集信息:
特征:
- 名称: input_ids
序列类型: int32
拆分:
- 名称: 训练集
字节数: 8618263476
样本数: 16702061
- 名称: 验证集
字节数: 48072624
样本数: 93164
下载大小: 3804670316
数据集大小: 8666336100

# "codeparrot-ds-train-tokenized"数据集卡片

[需要更多信息](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

原始信息汇总

数据集概述

数据集名称

• 名称: codeparrot-ds-train-tokenized

数据集特征

• 特征名称: input_ids
• 数据类型: 整数序列（int32）

数据集分割

• 训练集
  • 示例数量: 16702061
  • 数据大小: 8618263476 字节
• 验证集
  • 示例数量: 93164
  • 数据大小: 48072624 字节

数据集大小

• 下载大小: 3804670316 字节
• 总数据大小: 8666336100 字节