stojchet/csn_java_python_subset

该数据集包含了Java、Kotlin和Python三种编程语言的函数代码和文档信息。每种语言的数据集都包含了多个特征，如函数名称、函数代码、函数文档等，并且每种语言的数据集都分为训练集、验证集和测试集。数据集的大小和下载信息也在README文件中提供。

This dataset contains function code and documentation information for three programming languages: Java, Kotlin, and Python. Each languages dataset includes multiple features such as function name, function code, function documentation, etc., and each languages dataset is divided into training, validation, and test sets. The size and download information of the dataset are also provided in the README file.

原始信息汇总

数据集概述

配置信息

Java 配置

• 特征:
  • repository_name: 字符串类型
  • func_path_in_repository: 字符串类型
  • func_name: 字符串类型
  • whole_func_string: 字符串类型
  • language: 字符串类型
  • func_code_string: 字符串类型
  • func_code_tokens: 字符串序列
  • func_documentation_string: 字符串类型
  • func_documentation_tokens: 字符串序列
  • split_name: 字符串类型
  • func_code_url: 字符串类型
• 分割:
  • train: 302791869 字节, 105069 个样本
  • validation: 10552031 字节, 3880 个样本
  • test: 18135606 字节, 6244 个样本
• 下载大小: 773904442 字节
• 数据集大小: 331479506.0 字节
• 数据文件路径:
  • train: java/train-*
  • validation: java/validation-*
  • test: java/test-*

Python 配置

• 特征:
  • repository_name: 字符串类型
  • func_path_in_repository: 字符串类型
  • func_name: 字符串类型
  • whole_func_string: 字符串类型
  • language: 字符串类型
  • func_code_string: 字符串类型
  • func_code_tokens: 字符串序列
  • func_documentation_string: 字符串类型
  • func_documentation_tokens: 字符串序列
  • split_name: 字符串类型
  • func_code_url: 字符串类型
• 分割:
  • train: 226924992.05985793 字节, 72952 个样本
  • validation: 14480556.381407453 字节, 4702 个样本
  • test: 11736675.827900406 字节, 3823 个样本
• 下载大小: 282262612 字节
• 数据集大小: 253142224.26916578 字节
• 数据文件路径:
  • train: python/train-*
  • validation: python/validation-*
  • test: python/test-*

搜集汇总

背景与挑战

背景概述

该数据集是一个多语言代码子集，包含Java、Kotlin和Python三种编程语言的函数代码，总计约20万行数据，主要用于代码分析和生成任务。数据集以Parquet格式存储，提供了函数代码字符串、令牌化表示、文档字符串以及代码来源URL等详细信息，并已划分为训练、验证和测试集。