ytzi/starcoderdata-gpt2
收藏Hugging Face2024-03-29 更新2024-06-11 收录
下载链接：
https://hf-mirror.com/datasets/ytzi/starcoderdata-gpt2
下载链接
链接失效反馈官方服务：
资源简介：
---
dataset_info:
- config_name: julia
features:
- name: content
dtype: string
- name: input_ids
sequence: int32
- name: ratio_char_token
dtype: float64
- name: token_count
dtype: int64
splits:
- name: train
num_bytes: 3786710621
num_examples: 295364
download_size: 1199205457
dataset_size: 3786710621
- config_name: lua
features:
- name: content
dtype: string
- name: input_ids
sequence: int32
- name: ratio_char_token
dtype: float64
- name: token_count
dtype: int64
splits:
- name: train
num_bytes: 7979642116
num_examples: 549459
download_size: 2377951926
dataset_size: 7979642116
- config_name: python
features:
- name: content
dtype: string
- name: input_ids
sequence: int32
- name: ratio_char_token
dtype: float64
- name: token_count
dtype: int64
splits:
- name: train
num_bytes: 174067658922
num_examples: 12866649
download_size: 50581374044
dataset_size: 174067658922
- config_name: racket
features:
- name: content
dtype: string
- name: input_ids
sequence: int32
- name: ratio_char_token
dtype: float64
- name: token_count
dtype: int64
splits:
- name: train
num_bytes: 65123780
num_examples: 3688
download_size: 23524575
dataset_size: 65123780
- config_name: scheme
features:
- name: content
dtype: string
- name: input_ids
sequence: int32
- name: ratio_char_token
dtype: float64
- name: token_count
dtype: int64
splits:
- name: train
num_bytes: 585290772
num_examples: 41890
download_size: 158058450
dataset_size: 585290772
configs:
- config_name: julia
data_files:
- split: train
path: julia/train-*
- config_name: lua
data_files:
- split: train
path: lua/train-*
- config_name: python
data_files:
- split: train
path: python/train-*
- config_name: racket
data_files:
- split: train
path: racket/train-*
- config_name: scheme
data_files:
- split: train
path: scheme/train-*
---
提供机构：
ytzi
原始信息汇总
数据集概述
配置名称：Julia
- 特征信息：
- content: 数据类型为字符串
- input_ids: 数据类型为整数序列，类型为int32
- ratio_char_token: 数据类型为float64
- token_count: 数据类型为int64
- 数据分割：
- 训练集：包含295364个样本，总大小为3786710621字节
- 下载大小： 1199205457字节
- 数据集总大小： 3786710621字节
配置名称：Lua
- 特征信息：
- content: 数据类型为字符串
- input_ids: 数据类型为整数序列，类型为int32
- ratio_char_token: 数据类型为float64
- token_count: 数据类型为int64
- 数据分割：
- 训练集：包含549459个样本，总大小为7979642116字节
- 下载大小： 2377951926字节
- 数据集总大小： 7979642116字节
配置名称：Python
- 特征信息：
- content: 数据类型为字符串
- input_ids: 数据类型为整数序列，类型为int32
- ratio_char_token: 数据类型为float64
- token_count: 数据类型为int64
- 数据分割：
- 训练集：包含12866649个样本，总大小为174067658922字节
- 下载大小： 50581374044字节
- 数据集总大小： 174067658922字节
配置名称：Racket
- 特征信息：
- content: 数据类型为字符串
- input_ids: 数据类型为整数序列，类型为int32
- ratio_char_token: 数据类型为float64
- token_count: 数据类型为int64
- 数据分割：
- 训练集：包含3688个样本，总大小为65123780字节
- 下载大小： 23524575字节
- 数据集总大小： 65123780字节
配置名称：Scheme
- 特征信息：
- content: 数据类型为字符串
- input_ids: 数据类型为整数序列，类型为int32
- ratio_char_token: 数据类型为float64
- token_count: 数据类型为int64
- 数据分割：
- 训练集：包含41890个样本，总大小为585290772字节
- 下载大小： 158058450字节
- 数据集总大小： 585290772字节
