andstor/code_search_net_files

CodeSearchNet Files数据集包含多种编程语言的代码文件，特征包括代码库名称、文件路径、编程语言、文件URL和文件内容。数据集分为多个配置，如all、java、go、python、javascript、ruby和php，每个配置都有训练集、测试集和验证集。数据集的规模从10K到10M不等，涵盖了多种编程语言，数据是通过机器生成的，没有人工注释。

原始信息汇总

数据集概述

基本信息

• 标注创建者: 无标注
• 语言创建者: 机器生成
• 语言: 代码
• 许可证: 其他
• 多语言性: 多语言
• 大小分类: 100K<n<1M, 10K<n<100K, 1M<n<10M
• 源数据集: 原始数据

数据集配置

配置名称: all

• 特征:
  • repository_name: 字符串
  • file_path: 字符串
  • language: 字符串
  • url: 字符串
  • contents: 字符串
• 分割:
  • train:
    • 字节数: 4597566968
    • 样本数: 481456
  • test:
    • 字节数: 244185049
    • 样本数: 27032
  • validation:
    • 字节数: 208172780
    • 样本数: 23262
• 下载大小: 5328510079
• 数据集大小: 5049924797

配置名称: java

• 特征:
  • repository_name: 字符串
  • file_path: 字符串
  • language: 字符串
  • url: 字符串
  • contents: 字符串
• 分割:
  • train:
    • 字节数: 1508021640
    • 样本数: 124201
  • test:
    • 字节数: 83498294
    • 样本数: 7672
  • validation:
    • 字节数: 49495187
    • 样本数: 4622
• 下载大小: 1719645289
• 数据集大小: 1641015121

配置名称: go

• 特征:
  • repository_name: 字符串
  • file_path: 字符串
  • language: 字符串
  • url: 字符串
  • contents: 字符串
• 分割:
  • train:
    • 字节数: 445935389
    • 样本数: 52467
  • test:
    • 字节数: 22662672
    • 样本数: 2661
  • validation:
    • 字节数: 14949171
    • 样本数: 1991
• 下载大小: 525469198
• 数据集大小: 483547232

配置名称: python

• 特征:
  • repository_name: 字符串
  • file_path: 字符串
  • language: 字符串
  • url: 字符串
  • contents: 字符串
• 分割:
  • train:
    • 字节数: 966000949
    • 样本数: 83739
  • test:
    • 字节数: 53223810
    • 样本数: 4989
  • validation:
    • 字节数: 51072608
    • 样本数: 4589
• 下载大小: 1117084868
• 数据集大小: 1070297367

配置名称: javascript

• 特征:
  • repository_name: 字符串
  • file_path: 字符串
  • language: 字符串
  • url: 字符串
  • contents: 字符串
• 分割:
  • train:
    • 字节数: 533231855
    • 样本数: 40913
  • test:
    • 字节数: 28571674
    • 样本数: 2176
  • validation:
    • 字节数: 36688764
    • 样本数: 2586
• 下载大小: 633172343
• 数据集大小: 598492293

配置名称: ruby

• 特征:
  • repository_name: 字符串
  • file_path: 字符串
  • language: 字符串
  • url: 字符串
  • contents: 字符串
• 分割:
  • train:
    • 字节数: 132300659
    • 样本数: 16932
  • test:
    • 字节数: 5125555
    • 样本数: 822
  • validation:
    • 字节数: 4189342
    • 样本数: 803
• 下载大小: 147603200
• 数据集大小: 141615556

配置名称: php

• 特征:
  • repository_name: 字符串
  • file_path: 字符串
  • language: 字符串
  • url: 字符串
  • contents: 字符串
• 分割:
  • train:
    • 字节数: 1012076476
    • 样本数: 163204
  • test:
    • 字节数: 51103044
    • 样本数: 8712
  • validation:
    • 字节数: 51777708
    • 样本数: 8671
• 下载大小: 1185535181
• 数据集大小: 1114957228