pharaouk/stack-v2-python

该数据集包含了GitHub仓库的元信息和文件信息，涵盖了仓库名称、URL、快照ID、修订ID、目录ID、分支名称、访问日期、修订日期、提交者日期、GitHub ID、星标事件计数、分叉事件计数、许可证ID、创建时间、更新时间、推送时间、语言等特征。文件信息进一步细化为blob ID、路径、内容ID、语言、字节长度、检测到的许可证、许可证类型、源编码、是否为供应商文件、是否为生成文件、字母数字比例、字母比例、行数、平均行长度、最大行长度等。数据集分为训练集，包含8954903个样本，总大小为20887324838.790043字节，下载大小为15102959847字节。

原始信息汇总

数据集概述

数据集特征

• repo_name: 字符串类型
• repo_url: 字符串类型
• snapshot_id: 字符串类型
• revision_id: 字符串类型
• directory_id: 字符串类型
• branch_name: 字符串类型
• visit_date: 时间戳（纳秒）类型
• revision_date: 时间戳（纳秒）类型
• committer_date: 时间戳（纳秒）类型
• github_id: 整数类型
• star_events_count: 整数类型
• fork_events_count: 整数类型
• gha_license_id: 字符串类型
• gha_created_at: 时间戳（纳秒）类型
• gha_updated_at: 时间戳（纳秒）类型
• gha_pushed_at: 时间戳（纳秒）类型
• gha_language: 字符串类型
• files: 列表类型，包含以下子特征：
  • blob_id: 字符串类型
  • path: 字符串类型
  • content_id: 字符串类型
  • language: 字符串类型
  • length_bytes: 整数类型
  • detected_licenses: 字符串序列类型
  • license_type: 字符串类型
  • src_encoding: 字符串类型
  • is_vendor: 布尔类型
  • is_generated: 布尔类型
  • alphanum_fraction: 浮点数类型
  • alpha_fraction: 浮点数类型
  • num_lines: 整数类型
  • avg_line_length: 浮点数类型
  • max_line_length: 整数类型
• num_files: 整数类型

数据集分割

• train:
  • num_bytes: 20887324838.790043 字节
  • num_examples: 8954903 个样本

数据集大小

• download_size: 15102959847 字节
• dataset_size: 20887324838.790043 字节

配置

• config_name: default
• data_files:
  • split: train
  • path: data/train-*