pharaouk/stack-v2-python-chunk3

---
dataset_info:
features:
- name: repo_name
dtype: string
- name: repo_url
dtype: string
- name: snapshot_id
dtype: string
- name: revision_id
dtype: string
- name: directory_id
dtype: string
- name: branch_name
dtype: string
- name: visit_date
dtype: timestamp[ns]
- name: revision_date
dtype: timestamp[ns]
- name: committer_date
dtype: timestamp[ns]
- name: github_id
dtype: int64
- name: star_events_count
dtype: int64
- name: fork_events_count
dtype: int64
- name: gha_license_id
dtype: string
- name: gha_created_at
dtype: timestamp[ns]
- name: gha_updated_at
dtype: timestamp[ns]
- name: gha_pushed_at
dtype: timestamp[ns]
- name: gha_language
dtype: string
- name: files
list:
- name: blob_id
dtype: string
- name: path
dtype: string
- name: content_id
dtype: string
- name: language
dtype: string
- name: length_bytes
dtype: int64
- name: detected_licenses
sequence: string
- name: license_type
dtype: string
- name: src_encoding
dtype: string
- name: is_vendor
dtype: bool
- name: is_generated
dtype: bool
- name: alphanum_fraction
dtype: float32
- name: alpha_fraction
dtype: float32
- name: num_lines
dtype: int32
- name: avg_line_length
dtype: float32
- name: max_line_length
dtype: int32
- name: num_files
dtype: int64
splits:
- name: train
num_bytes: 7897866927
num_examples: 2984967
download_size: 5062103145
dataset_size: 7897866927
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
---

数据集信息：
特征字段：
- 名称：仓库名称（repo_name），数据类型：字符串（string）
- 名称：仓库URL（repo_url），数据类型：字符串（string）
- 名称：快照ID（snapshot_id），数据类型：字符串（string）
- 名称：修订ID（revision_id），数据类型：字符串（string）
- 名称：目录ID（directory_id），数据类型：字符串（string）
- 名称：分支名称（branch_name），数据类型：字符串（string）
- 名称：访问日期（visit_date），数据类型：纳秒级时间戳（timestamp[ns]）
- 名称：修订日期（revision_date），数据类型：纳秒级时间戳（timestamp[ns]）
- 名称：提交者日期（committer_date），数据类型：纳秒级时间戳（timestamp[ns]）
- 名称：GitHub ID（github_id），数据类型：64位整数（int64）
- 名称：星标事件计数（star_events_count），数据类型：64位整数（int64）
- 名称：复刻事件计数（fork_events_count），数据类型：64位整数（int64）
- 名称：GHA许可证ID（gha_license_id），数据类型：字符串（string）
- 名称：GHA创建时间（gha_created_at），数据类型：纳秒级时间戳（timestamp[ns]）
- 名称：GHA更新时间（gha_updated_at），数据类型：纳秒级时间戳（timestamp[ns]）
- 名称：GHA推送时间（gha_pushed_at），数据类型：纳秒级时间戳（timestamp[ns]）
- 名称：GHA语言（gha_language），数据类型：字符串（string）
- 名称：文件列表（files），数据类型：列表（list），列表元素包含：
- 名称：Blob ID（blob_id），数据类型：字符串（string）
- 名称：文件路径（path），数据类型：字符串（string）
- 名称：内容ID（content_id），数据类型：字符串（string）
- 名称：编程语言（language），数据类型：字符串（string）
- 名称：字节长度（length_bytes），数据类型：64位整数（int64）
- 名称：检测到的许可证（detected_licenses），数据类型：字符串序列（sequence）
- 名称：许可证类型（license_type），数据类型：字符串（string）
- 名称：源文件编码（src_encoding），数据类型：字符串（string）
- 名称：是否为供应商文件（is_vendor），数据类型：布尔值（bool）
- 名称：是否为生成文件（is_generated），数据类型：布尔值（bool）
- 名称：字母数字占比（alphanum_fraction），数据类型：32位浮点数（float32）
- 名称：字母占比（alpha_fraction），数据类型：32位浮点数（float32）
- 名称：总行数（num_lines），数据类型：32位整数（int32）
- 名称：平均行长度（avg_line_length），数据类型：32位浮点数（float32）
- 名称：最大行长度（max_line_length），数据类型：32位整数（int32）
- 名称：总文件数（num_files），数据类型：64位整数（int64）
数据集划分：
- 名称：训练集（train），字节数：7897866927，样本数量：2984967
下载大小：5062103145
数据集总大小：7897866927
配置项：
- 配置名称：默认配置（default），数据文件：
- 划分：训练集（train），路径：data/train-*

原始信息汇总

数据集概述

数据集特征

主要特征

• repo_name: 字符串类型
• repo_url: 字符串类型
• snapshot_id: 字符串类型
• revision_id: 字符串类型
• directory_id: 字符串类型
• branch_name: 字符串类型
• visit_date: 时间戳类型，单位纳秒
• revision_date: 时间戳类型，单位纳秒
• committer_date: 时间戳类型，单位纳秒
• github_id: 整数类型
• star_events_count: 整数类型
• fork_events_count: 整数类型
• gha_license_id: 字符串类型
• gha_created_at: 时间戳类型，单位纳秒
• gha_updated_at: 时间戳类型，单位纳秒
• gha_pushed_at: 时间戳类型，单位纳秒
• gha_language: 字符串类型

文件特征

• blob_id: 字符串类型
• path: 字符串类型
• content_id: 字符串类型
• language: 字符串类型
• length_bytes: 整数类型
• detected_licenses: 字符串序列
• license_type: 字符串类型
• src_encoding: 字符串类型
• is_vendor: 布尔类型
• is_generated: 布尔类型
• alphanum_fraction: 浮点数类型
• alpha_fraction: 浮点数类型
• num_lines: 整数类型
• avg_line_length: 浮点数类型
• max_line_length: 整数类型

数据集分割

• train:
  • num_bytes: 7897866927 字节
  • num_examples: 2984967 个样本

数据集大小

• download_size: 5062103145 字节
• dataset_size: 7897866927 字节

配置

• config_name: default
  • data_files:
    • split: train
      • path: data/train-*