polinaeterna/yat

--- dataset_info: features: - name: blob_id dtype: string - name: directory_id dtype: string - name: path dtype: string - name: content_id dtype: string - name: detected_licenses sequence: string - name: license_type dtype: string - name: repo_name dtype: string - name: snapshot_id dtype: string - name: revision_id dtype: string - name: branch_name dtype: string - name: visit_date dtype: timestamp[ns] - name: revision_date dtype: timestamp[ns] - name: committer_date dtype: timestamp[ns] - name: github_id dtype: int64 - name: star_events_count dtype: int64 - name: fork_events_count dtype: int64 - name: gha_license_id dtype: string - name: gha_event_created_at dtype: timestamp[ns] - name: gha_created_at dtype: timestamp[ns] - name: gha_language dtype: string - name: src_encoding dtype: string - name: language dtype: string - name: is_vendor dtype: bool - name: is_generated dtype: bool - name: length_bytes dtype: int64 - name: extension dtype: string splits: - name: train num_bytes: 4047876716 num_examples: 8865479 download_size: 2731723775 dataset_size: 4047876716 configs: - config_name: default data_files: - split: train path: data/train-* ---dataset_info: features: - 字段名：二进制大对象ID（blob ID），数据类型：字符串 - 字段名：目录标识符（directory ID），数据类型：字符串 - 字段名：路径，数据类型：字符串 - 字段名：内容标识符（content ID），数据类型：字符串 - 字段名：检测到的许可证，数据类型：字符串序列 - 字段名：许可证类型，数据类型：字符串 - 字段名：仓库名称，数据类型：字符串 - 字段名：快照标识符（snapshot ID），数据类型：字符串 - 字段名：修订标识符（revision ID），数据类型：字符串 - 字段名：分支名称，数据类型：字符串 - 字段名：访问日期，数据类型：纳秒级时间戳 - 字段名：修订日期，数据类型：纳秒级时间戳 - 字段名：提交者日期，数据类型：纳秒级时间戳 - 字段名：GitHub ID，数据类型：64位整数 - 字段名：星标事件计数，数据类型：64位整数 - 字段名：复刻事件计数，数据类型：64位整数 - 字段名：GitHub Actions许可证ID（gha license ID），数据类型：字符串 - 字段名：GitHub Actions事件创建时间，数据类型：纳秒级时间戳 - 字段名：GitHub Actions创建时间，数据类型：纳秒级时间戳 - 字段名：GitHub Actions语言，数据类型：字符串 - 字段名：源编码，数据类型：字符串 - 字段名：语言，数据类型：字符串 - 字段名：是否为供应商版本，数据类型：布尔值 - 字段名：是否为生成内容，数据类型：布尔值 - 字段名：字节长度，数据类型：64位整数 - 字段名：文件扩展名，数据类型：字符串 splits: - 名称：训练集，字节大小：4047876716，样本数量：8865479 下载大小: 2731723775 数据集大小: 4047876716 configs: - 配置名称：默认配置，数据文件： - 划分：训练集，路径：data/train-*

原始信息汇总

数据集概述

数据集信息

特征

• blob_id: 字符串类型
• directory_id: 字符串类型
• path: 字符串类型
• content_id: 字符串类型
• detected_licenses: 字符串序列
• license_type: 字符串类型
• repo_name: 字符串类型
• snapshot_id: 字符串类型
• revision_id: 字符串类型
• branch_name: 字符串类型
• visit_date: 时间戳类型（纳秒）
• revision_date: 时间戳类型（纳秒）
• committer_date: 时间戳类型（纳秒）
• github_id: 64位整数类型
• star_events_count: 64位整数类型
• fork_events_count: 64位整数类型
• gha_license_id: 字符串类型
• gha_event_created_at: 时间戳类型（纳秒）
• gha_created_at: 时间戳类型（纳秒）
• gha_language: 字符串类型
• src_encoding: 字符串类型
• language: 字符串类型
• is_vendor: 布尔类型
• is_generated: 布尔类型
• length_bytes: 64位整数类型
• extension: 字符串类型

数据分割

• train:
  • 字节数: 4047876716
  • 样本数: 8865479

数据集大小

• 下载大小: 2731723775 字节
• 数据集大小: 4047876716 字节

配置

• default:
  • 数据文件:
    • 分割: train
    • 路径: data/train-*