facebook/neural_code_search

Neural Code Search数据集是一个用于代码搜索任务的评估数据集，包含自然语言查询与代码片段对。数据集分为两部分：evaluation_dataset和search_corpus。evaluation_dataset由287个Stack Overflow的问题和答案对组成，而search_corpus则包含从24,549个GitHub仓库中解析出的4,716,814个方法体。该数据集的目标是提供一个共同的基准，供未来在代码搜索领域的研究使用。数据集的语言为英语，许可证为CC-BY-NC 4.0。

原始信息汇总

数据集概述

数据集名称

• 名称: Neural Code Search

数据集创建者

• 注释创建者: 专家生成
• 语言创建者: 众包

语言

• 语言: 英语

许可证

• 许可证: CC-BY-NC-4.0

多语言性

• 多语言性: 单语

大小分类

• 大小: 1M<n<10M, n<1K

源数据集

• 源数据集: 原始

任务类别

• 任务类别: 问答
• 任务ID: 提取式问答

数据集信息

• 配置名称: evaluation_dataset, search_corpus
• 特征:
  • evaluation_dataset:
    • stackoverflow_id: int32
    • question: string
    • question_url: string
    • question_author: string
    • question_author_url: string
    • answer: string
    • answer_url: string
    • answer_author: string
    • answer_author_url: string
    • examples: sequence: int32
    • examples_url: sequence: string
  • search_corpus:
    • id: int32
    • filepath: string
    • method_name: string
    • start_line: int32
    • end_line: int32
    • url: string
• 数据分割:
  • evaluation_dataset:
    • train: 287个样本, 296848字节
  • search_corpus:
    • train: 4716814个样本, 1452630278字节

数据集创建

• 数据集描述:
  • 摘要: 包含自然语言查询和代码片段对的评估数据集，用于作为未来工作的共同基准。
  • 搜索语料库: 从24,549个GitHub仓库解析的所有方法体索引，共4,716,814个方法。
  • 评估数据集: 由287个Stack Overflow问答对组成。

使用数据考虑

• 使用限制: 仅供研究使用，需检查数据集许可证获取更多信息。

附加信息

• 数据集管理员: Hongyu Li, Seohyun Kim, Satish Chandra
• 许可证信息: CC-BY-NC 4.0
• 引用信息: arXiv:1908.09804 [cs.SE]