DS-1000 代码生成基准数据集

DS-1000 是由香港大学、北京大学等高校于 2022 年联合发布的一个代码生成领域的基准数据集，专注于数据科学领域的代码生成任务，相关论文成果为「DS-1000: A Natural and Reliable Benchmark for Data Science Code Generation」。

DS-1000 is a benchmark dataset in the field of code generation, jointly released in 2022 by universities including The University of Hong Kong and Peking University. It focuses on code generation tasks in the data science domain, and its corresponding academic paper is titled "DS-1000: A Natural and Reliable Benchmark for Data Science Code Generation".

搜集汇总

背景与挑战

背景概述

DS-1000是一个2022年发布的代码生成基准数据集，由香港大学、北京大学等高校联合开发，专注于数据科学领域。它包含1k个来自StackOverflow的实际问题，覆盖Python中7个常用数据科学库，通过扰动和重写设计防止模型记忆，并提供了Completion和Insertion两种提示格式，每个问题都包含完整的元信息和测试代码，适用于代码生成、教育评估等多种应用。