blindsubmissions/GH_text2code

该数据集包含多种编程语言的英文文本与代码片段对，具体包括Python、Java、JavaScript和Go。数据通过自动化过滤管道从[The Stack](https://huggingface.co/datasets/bigcode/the-stack)中的源文件进行筛选和整理。数据集可用于微调代码到文本或文本到代码的模型，适用于信息检索或条件生成场景。This dataset contains pairs of English text and code snippets across multiple programming languages, specifically including Python, Java, JavaScript, and Go. The data was filtered and curated from source files in [The Stack](https://huggingface.co/datasets/bigcode/the-stack) via an automated filtering pipeline. This dataset can be used to fine-tune code-to-text or text-to-code models, and is applicable to information retrieval or conditional generation scenarios.

原始信息汇总

数据集概述

数据集名称

• 名称: Docstring to code data

数据集内容

• 描述: 该数据集包含多种编程语言（Python、Java、JavaScript、Go）的文本与代码片段配对数据。数据通过自动化过滤流程从The Stack的源文件中筛选而来。

数据集特征

• 特征列表:
  • identifier: 字符串
  • parameters: 字符串
  • docstring: 字符串
  • docstring_summary: 字符串
  • function: 字符串
  • function_tokens: 字符串序列
  • start_point: 整数序列
  • end_point: 整数序列
  • language: 字符串
  • docstring_language: 字符串
  • docstring_language_predictions: 字符串
  • is_langid_reliable: 字符串

数据集分割

• 分割详情:
  • python_gh: 15000002个示例，36300760423字节
  • java_gh: 15000014个示例，21613057110字节
  • go_gh: 15000078个示例，22559741937字节
  • javascript_gh: 2000040个示例，3895688311字节

数据集大小

• 下载大小: 166324499字节
• 数据集大小: 84369247781字节

任务类别

• 翻译
• 摘要
• 文本到文本生成

语言

• 英语

标签

• 代码

大小分类

• 10M<n<100M

数据集结构

• 数据实例: 每个实例对应于The Stack中许可文件中的函数/方法。
• 相关数据字段:
  • identifier: 函数/方法名称
  • parameters: 函数参数
  • docstring: 完整的文档字符串内容
  • docstring_summary: 处理后的文档字符串摘要
  • function: 实际的函数/方法内容
  • language: 编程语言

数据集维护计划

• 数据将通过跟随The Stack的发布保持更新，每次新发布时重新运行过滤流程，将新的非重叠内容添加到训练和测试分区中。

搜集汇总

背景与挑战

背景概述

该数据集是一个包含4700万行代码-文本配对的大规模多语言编程数据集，涵盖Python、Java、JavaScript和Go四种编程语言。数据来源于GitHub的许可文件，通过自动过滤和AST解析流程提取函数/方法及其对应的英文文档字符串，主要用于代码到文本和文本到代码的模型训练任务。