Razvan27/network_paper

该数据集包含多个配置，主要涉及Java和Python编程语言的代码文件。每个配置包含文件名、文件路径、文件内容、文件大小、语言、扩展名、仓库名称、仓库星标数、仓库分叉数、仓库开放问题数、仓库创建时间和最后推送时间等特征字段。某些配置还包含去重相关的字段（如sha、near_dups_stkv2_idx等）。数据集的主要用途可能是用于代码分析、去重、相似性检测等任务。

This dataset contains multiple configurations, primarily involving code files in Java and Python programming languages. Each configuration includes feature fields such as file name, file path, file content, file size, language, extension, repository name, repository stars, repository forks, repository open issues, repository creation time, and last push time. Some configurations also include deduplication-related fields (e.g., sha, near_dups_stkv2_idx, etc.). The main purpose of the dataset may be for code analysis, deduplication, similarity detection, and other related tasks.

原始信息汇总

数据集概述

1. Java

• 特征:
  • file_name: 字符串
  • file_path: 字符串
  • content: 字符串
  • file_size: 整数
  • language: 字符串
  • extension: 字符串
  • repo_name: 字符串
  • repo_stars: 整数
  • repo_forks: 整数
  • repo_open_issues: 整数
  • repo_created_at: 字符串
  • repo_pushed_at: 字符串
• 分割:
  • train:
    • num_bytes: 59165182538
    • num_examples: 7798053
• 下载大小: 15626451925
• 数据集大小: 59165182538

2. JavaExDedup

• 特征:
  • 同Java
  • sha: 字符串
• 分割:
  • train:
    • num_bytes: 53015737183.35684
    • num_examples: 6925478
• 下载大小: 13609772411
• 数据集大小: 53015737183.35684

3. JavaExactDedup

• 特征:
  • 同JavaExDedup
• 分割:
  • train:
    • num_bytes: 15882096952.388557
    • num_examples: 2174919
• 下载大小: 5287613864
• 数据集大小: 15882096952.388557

4. JavaNearDedup100k

• 特征:
  • 同JavaExDedup
  • near_dups_sim_idx: 序列，整数
• 分割:
  • train:
    • num_bytes: 734203070
    • num_examples: 100000
• 下载大小: 242854132
• 数据集大小: 734203070

5. JavaNearDedup1mil

• 特征:
  • 同JavaNearDedup100k
• 分割:
  • train:
    • num_bytes: 7358249197
    • num_examples: 1000000
• 下载大小: 2461456443
• 数据集大小: 7358249197

6. Python

• 特征:
  • 同Java
• 分割:
  • train:
    • num_bytes: 8456165012
    • num_examples: 628921
• 下载大小: 3477264608
• 数据集大小: 8456165012

数据文件路径

• Java: data/JavaFiles/train-*
• JavaExDedup: data/JavaExDedup/train-*
• JavaExactDedup: data/JavaExactDedup/train-*
• JavaNearDedup100k: data/JavaNearDedup100k/train-*
• JavaNearDedup1mil: data/JavaNearDedup1mil/train-*
• Python: data/PythonFiles/train-*