CodeExp

我们提供了一个python代码-docstring语料库CodeExp，其中包含 (1) 2.3的大分区 百万原始代码-docstring对，(2) 一个介质 158,000对的分区从 使用学习的过滤器的原始语料库，以及 (3) 具有严格的人类13,000对的分区 注释。我们的数据收集过程利用了从人类那里学到的注释模型 自动过滤高质量的注释 来自原始GitHub数据集的代码-docstring对We introduce CodeExp, a Python code-docstring corpus that encompasses three partitions: (1) a large partition containing 2.3 million raw code-docstring pairs; (2) a medium partition consisting of 158,000 pairs filtered from the raw corpus using a learned filter; and (3) a strict partition of 13,000 pairs with rigorous human annotations. Our data collection pipeline leverages an annotation model trained on human-labeled data to automatically filter high-quality code-docstring pairs from the original GitHub dataset.

搜集汇总

背景与挑战

背景概述

CodeExp是一个Python代码与文档字符串（docstring）的语料库，包含230万原始对、15.8万过滤对和1.3万人工注释对。该数据集由北京航空航天大学、多伦多大学和Microsoft Research于2022年发布。