pharaouk/stack-v2-python-chunk3

--- dataset_info: features: - name: repo_name dtype: string - name: repo_url dtype: string - name: snapshot_id dtype: string - name: revision_id dtype: string - name: directory_id dtype: string - name: branch_name dtype: string - name: visit_date dtype: timestamp[ns] - name: revision_date dtype: timestamp[ns] - name: committer_date dtype: timestamp[ns] - name: github_id dtype: int64 - name: star_events_count dtype: int64 - name: fork_events_count dtype: int64 - name: gha_license_id dtype: string - name: gha_created_at dtype: timestamp[ns] - name: gha_updated_at dtype: timestamp[ns] - name: gha_pushed_at dtype: timestamp[ns] - name: gha_language dtype: string - name: files list: - name: blob_id dtype: string - name: path dtype: string - name: content_id dtype: string - name: language dtype: string - name: length_bytes dtype: int64 - name: detected_licenses sequence: string - name: license_type dtype: string - name: src_encoding dtype: string - name: is_vendor dtype: bool - name: is_generated dtype: bool - name: alphanum_fraction dtype: float32 - name: alpha_fraction dtype: float32 - name: num_lines dtype: int32 - name: avg_line_length dtype: float32 - name: max_line_length dtype: int32 - name: num_files dtype: int64 splits: - name: train num_bytes: 7897866927 num_examples: 2984967 download_size: 5062103145 dataset_size: 7897866927 configs: - config_name: default data_files: - split: train path: data/train-* ---数据集信息： 特征字段： - 名称：仓库名称（repo_name），数据类型：字符串（string） - 名称：仓库URL（repo_url），数据类型：字符串（string） - 名称：快照ID（snapshot_id），数据类型：字符串（string） - 名称：修订ID（revision_id），数据类型：字符串（string） - 名称：目录ID（directory_id），数据类型：字符串（string） - 名称：分支名称（branch_name），数据类型：字符串（string） - 名称：访问日期（visit_date），数据类型：纳秒级时间戳（timestamp[ns]） - 名称：修订日期（revision_date），数据类型：纳秒级时间戳（timestamp[ns]） - 名称：提交者日期（committer_date），数据类型：纳秒级时间戳（timestamp[ns]） - 名称：GitHub ID（github_id），数据类型：64位整数（int64） - 名称：星标事件计数（star_events_count），数据类型：64位整数（int64） - 名称：复刻事件计数（fork_events_count），数据类型：64位整数（int64） - 名称：GHA许可证ID（gha_license_id），数据类型：字符串（string） - 名称：GHA创建时间（gha_created_at），数据类型：纳秒级时间戳（timestamp[ns]） - 名称：GHA更新时间（gha_updated_at），数据类型：纳秒级时间戳（timestamp[ns]） - 名称：GHA推送时间（gha_pushed_at），数据类型：纳秒级时间戳（timestamp[ns]） - 名称：GHA语言（gha_language），数据类型：字符串（string） - 名称：文件列表（files），数据类型：列表（list），列表元素包含： - 名称：Blob ID（blob_id），数据类型：字符串（string） - 名称：文件路径（path），数据类型：字符串（string） - 名称：内容ID（content_id），数据类型：字符串（string） - 名称：编程语言（language），数据类型：字符串（string） - 名称：字节长度（length_bytes），数据类型：64位整数（int64） - 名称：检测到的许可证（detected_licenses），数据类型：字符串序列（sequence） - 名称：许可证类型（license_type），数据类型：字符串（string） - 名称：源文件编码（src_encoding），数据类型：字符串（string） - 名称：是否为供应商文件（is_vendor），数据类型：布尔值（bool） - 名称：是否为生成文件（is_generated），数据类型：布尔值（bool） - 名称：字母数字占比（alphanum_fraction），数据类型：32位浮点数（float32） - 名称：字母占比（alpha_fraction），数据类型：32位浮点数（float32） - 名称：总行数（num_lines），数据类型：32位整数（int32） - 名称：平均行长度（avg_line_length），数据类型：32位浮点数（float32） - 名称：最大行长度（max_line_length），数据类型：32位整数（int32） - 名称：总文件数（num_files），数据类型：64位整数（int64） 数据集划分： - 名称：训练集（train），字节数：7897866927，样本数量：2984967 下载大小：5062103145 数据集总大小：7897866927 配置项： - 配置名称：默认配置（default），数据文件： - 划分：训练集（train），路径：data/train-*

原始信息汇总

数据集概述

数据集特征

主要特征

• repo_name: 字符串类型
• repo_url: 字符串类型
• snapshot_id: 字符串类型
• revision_id: 字符串类型
• directory_id: 字符串类型
• branch_name: 字符串类型
• visit_date: 时间戳类型，单位纳秒
• revision_date: 时间戳类型，单位纳秒
• committer_date: 时间戳类型，单位纳秒
• github_id: 整数类型
• star_events_count: 整数类型
• fork_events_count: 整数类型
• gha_license_id: 字符串类型
• gha_created_at: 时间戳类型，单位纳秒
• gha_updated_at: 时间戳类型，单位纳秒
• gha_pushed_at: 时间戳类型，单位纳秒
• gha_language: 字符串类型

文件特征

• blob_id: 字符串类型
• path: 字符串类型
• content_id: 字符串类型
• language: 字符串类型
• length_bytes: 整数类型
• detected_licenses: 字符串序列
• license_type: 字符串类型
• src_encoding: 字符串类型
• is_vendor: 布尔类型
• is_generated: 布尔类型
• alphanum_fraction: 浮点数类型
• alpha_fraction: 浮点数类型
• num_lines: 整数类型
• avg_line_length: 浮点数类型
• max_line_length: 整数类型

数据集分割

• train:
  • num_bytes: 7897866927 字节
  • num_examples: 2984967 个样本

数据集大小

• download_size: 5062103145 字节
• dataset_size: 7897866927 字节

配置

• config_name: default
  • data_files:
    • split: train
      • path: data/train-*