pharaouk/stack-v2-python-with-content-chunk1

--- dataset_info: features: - name: repo_name dtype: string - name: repo_url dtype: string - name: snapshot_id dtype: string - name: revision_id dtype: string - name: directory_id dtype: string - name: branch_name dtype: string - name: visit_date dtype: timestamp[ns] - name: revision_date dtype: timestamp[ns] - name: committer_date dtype: timestamp[ns] - name: github_id dtype: int64 - name: star_events_count dtype: int64 - name: fork_events_count dtype: int64 - name: gha_license_id dtype: string - name: gha_created_at dtype: timestamp[ns] - name: gha_updated_at dtype: timestamp[ns] - name: gha_pushed_at dtype: timestamp[ns] - name: gha_language dtype: string - name: files list: - name: alpha_fraction dtype: float64 - name: alphanum_fraction dtype: float64 - name: avg_line_length dtype: float64 - name: blob_id dtype: string - name: content_id dtype: string - name: detected_licenses sequence: string - name: is_generated dtype: bool - name: is_vendor dtype: bool - name: language dtype: string - name: length_bytes dtype: int64 - name: license_type dtype: string - name: max_line_length dtype: int64 - name: num_lines dtype: int64 - name: path dtype: string - name: repo_name dtype: string - name: src_encoding dtype: string - name: text dtype: string - name: num_files dtype: int64 splits: - name: train num_bytes: 144356548766 num_examples: 2984968 download_size: 51814563482 dataset_size: 144356548766 configs: - config_name: default data_files: - split: train path: data/train-* ---

原始信息汇总

数据集概述

数据集特征

主要特征

• repo_name: 字符串类型
• repo_url: 字符串类型
• snapshot_id: 字符串类型
• revision_id: 字符串类型
• directory_id: 字符串类型
• branch_name: 字符串类型
• visit_date: 时间戳类型，单位纳秒
• revision_date: 时间戳类型，单位纳秒
• committer_date: 时间戳类型，单位纳秒
• github_id: 整数类型
• star_events_count: 整数类型
• fork_events_count: 整数类型
• gha_license_id: 字符串类型
• gha_created_at: 时间戳类型，单位纳秒
• gha_updated_at: 时间戳类型，单位纳秒
• gha_pushed_at: 时间戳类型，单位纳秒
• gha_language: 字符串类型

文件特征

• alpha_fraction: 浮点数类型
• alphanum_fraction: 浮点数类型
• avg_line_length: 浮点数类型
• blob_id: 字符串类型
• content_id: 字符串类型
• detected_licenses: 字符串序列
• is_generated: 布尔类型
• is_vendor: 布尔类型
• language: 字符串类型
• length_bytes: 整数类型
• license_type: 字符串类型
• max_line_length: 整数类型
• num_lines: 整数类型
• path: 字符串类型
• repo_name: 字符串类型
• src_encoding: 字符串类型
• text: 字符串类型

数据集拆分

• train:
  • num_bytes: 144356548766 字节
  • num_examples: 2984968 个样本

数据集大小

• download_size: 51814563482 字节
• dataset_size: 144356548766 字节