orelyehuda/hf-codegen-v2

---
dataset_info:
features:
- name: text
dtype: string
- name: id
dtype: string
- name: metadata
struct:
- name: file_path
dtype: string
- name: repo_id
dtype: string
- name: token_count
dtype: int64
- name: __index_level_0__
dtype: int64
splits:
- name: train
num_bytes: 49181195
num_examples: 3710
download_size: 13964709
dataset_size: 49181195
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
---

数据集信息（dataset_info）：
特征：
- 字段名：text，数据类型：字符串
- 字段名：id，数据类型：字符串
- 字段名：metadata（元数据），为结构体类型，包含以下子字段：
- 子字段名：file_path，数据类型：字符串
- 子字段名：repo_id，数据类型：字符串
- 子字段名：token_count（Token计数），数据类型：int64
- 字段名：__index_level_0__，数据类型：int64
划分集：
- 划分名称：train（训练集），占用字节数：49181195，样本总数：3710
下载大小：13964709，数据集总大小：49181195
配置项：
- 配置名称：default（默认配置），数据文件：
- 对应划分：train，路径：data/train-*

原始信息汇总

数据集概述

数据集特征

• text：数据类型为字符串。
• id：数据类型为字符串。
• metadata：结构化数据，包含以下字段：
  • file_path：数据类型为字符串。
  • repo_id：数据类型为字符串。
  • token_count：数据类型为整数（int64）。
• index_level_0：数据类型为整数（int64）。

数据集分割

• train：训练集，包含3710个样本，总大小为49181195字节。

数据集大小

• 下载大小：13964709字节。
• 数据集总大小：49181195字节。

配置

• default：配置名称，包含训练数据文件，路径格式为data/train-*。