tianyang/repo_dedup_sep2023

--- dataset_info: features: - name: repo_name dtype: string - name: language dtype: string - name: created_at dtype: timestamp[ns] - name: license dtype: string - name: description dtype: string - name: stars dtype: int64 - name: forks dtype: int64 - name: url dtype: string - name: repo_code list: - name: code dtype: string - name: path dtype: string - name: repo_name dtype: string - name: size dtype: int64 splits: - name: train num_bytes: 219555370 num_examples: 1474 download_size: 71458940 dataset_size: 219555370 configs: - config_name: default data_files: - split: train path: data/train-* --- # Dataset Card for "repo_dedup_sep2023" [More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)--- 数据集信息: 特征字段: - 字段名：仓库名称（repo_name），数据类型：string - 字段名：编程语言（language），数据类型：string - 字段名：创建时间（created_at），数据类型：timestamp[ns] - 字段名：许可证（license），数据类型：string - 字段名：项目描述（description），数据类型：string - 字段名：星标数（stars），数据类型：int64 - 字段名：复刻数（forks），数据类型：int64 - 字段名：仓库地址（url），数据类型：string - 字段名：仓库代码（repo_code），数据类型：list，其子字段包括： - 字段名：代码片段（code），数据类型：string - 字段名：文件路径（path），数据类型：string - 字段名：仓库名称（repo_name），数据类型：string - 字段名：文件大小（size），数据类型：int64 数据划分: - 划分名称：训练集（train），数据字节数：219555370，样本数量：1474 下载大小：71458940 数据集存储大小：219555370 配置项: - 配置名称：默认配置（default），数据文件: - 对应训练集划分，路径：data/train-* --- # 「repo_dedup_sep2023」数据集卡片 [需补充更多信息](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

原始信息汇总

数据集概述

数据集信息

特征

• repo_name: 字符串类型
• language: 字符串类型
• created_at: 时间戳类型
• license: 字符串类型
• description: 字符串类型
• stars: 64位整数类型
• forks: 64位整数类型
• url: 字符串类型
• repo_code: 列表类型
  • code: 字符串类型
  • path: 字符串类型
  • repo_name: 字符串类型
  • size: 64位整数类型

数据分割

• train:
  • 字节数: 219555370
  • 样本数: 1474

数据大小

• 下载大小: 71458940 字节
• 数据集大小: 219555370 字节

配置

• default:
  • 数据文件:
    • 分割: train
    • 路径: data/train-*