pe-nlp/ov-kit-code-files-v2-filtered-dedup

---
dataset_info:
features:
- name: file_path
dtype: string
- name: content
dtype: string
- name: size
dtype: int64
- name: lang
dtype: string
- name: avg_line_length
dtype: float64
- name: max_line_length
dtype: int64
- name: alphanum_fraction
dtype: float64
splits:
- name: train
num_bytes: 60367663.85612989
num_examples: 7112
download_size: 22058292
dataset_size: 60367663.85612989
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
---

数据集信息：
数据集特征：
- 字段名：file_path，数据类型：字符串
- 字段名：content，数据类型：字符串
- 字段名：size，数据类型：64位整数(int64)
- 字段名：lang，数据类型：字符串
- 字段名：avg_line_length，数据类型：64位浮点数(float64)
- 字段名：max_line_length，数据类型：64位整数(int64)
- 字段名：alphanum_fraction，数据类型：64位浮点数(float64)
数据集拆分：
- 拆分名称：训练集(train)，字节数：60367663.85612989，样本数量：7112
下载大小：22058292
数据集总大小：60367663.85612989
配置项：
- 配置名称：默认配置(default)，数据文件：
- 对应拆分：训练集(train)，文件路径：data/train-*

原始信息汇总

数据集概述

数据集特征

• file_path: 数据类型为字符串。
• content: 数据类型为字符串。
• size: 数据类型为整数64位。
• lang: 数据类型为字符串。
• avg_line_length: 数据类型为浮点数64位。
• max_line_length: 数据类型为整数64位。
• alphanum_fraction: 数据类型为浮点数64位。

数据集分割

• train: 包含7112个样本，总字节数为60367663.85612989。

数据集大小

• 下载大小: 22058292字节。
• 数据集大小: 60367663.85612989字节。

配置

• config_name: default
• data_files:
  • split: train
  • path: data/train-*