ytzi/the-stack-dedup-gpt2

---
dataset_info:
- config_name: julia
features:
- name: content
dtype: string
- name: input_ids
sequence: int32
- name: ratio_char_token
dtype: float64
- name: token_count
dtype: int64
splits:
- name: train
num_bytes: 4488572639
num_examples: 298672
download_size: 1340259889
dataset_size: 4488572639
- config_name: lua
features:
- name: content
dtype: string
- name: input_ids
sequence: int32
- name: ratio_char_token
dtype: float64
- name: token_count
dtype: int64
splits:
- name: train
num_bytes: 9277991216
num_examples: 558861
download_size: 2761679970
dataset_size: 9277991216
- config_name: scheme
features:
- name: content
dtype: string
- name: input_ids
sequence: int32
- name: ratio_char_token
dtype: float64
- name: token_count
dtype: int64
splits:
- name: train
num_bytes: 907251818
num_examples: 44261
download_size: 216232390
dataset_size: 907251818
configs:
- config_name: julia
data_files:
- split: train
path: julia/train-*
- config_name: lua
data_files:
- split: train
path: lua/train-*
- config_name: scheme
data_files:
- split: train
path: scheme/train-*
---

原始信息汇总

数据集概述

配置名称：Julia

• 特征:
  • content: 数据类型为字符串
  • input_ids: 序列类型为32位整数
  • ratio_char_token: 数据类型为64位浮点数
  • token_count: 数据类型为64位整数
• 分割:
  • train:
    • 字节数: 4488572639
    • 示例数: 298672
• 下载大小: 1340259889
• 数据集大小: 4488572639

配置名称：Lua

• 特征:
  • content: 数据类型为字符串
  • input_ids: 序列类型为32位整数
  • ratio_char_token: 数据类型为64位浮点数
  • token_count: 数据类型为64位整数
• 分割:
  • train:
    • 字节数: 9277991216
    • 示例数: 558861
• 下载大小: 2761679970
• 数据集大小: 9277991216

配置名称：Scheme

• 特征:
  • content: 数据类型为字符串
  • input_ids: 序列类型为32位整数
  • ratio_char_token: 数据类型为64位浮点数
  • token_count: 数据类型为64位整数
• 分割:
  • train:
    • 字节数: 907251818
    • 示例数: 44261
• 下载大小: 216232390
• 数据集大小: 907251818