nuprl/CanItEdit

CanItEdit是一个用于评估大型语言模型（LLMs）在遵循代码编辑指令方面能力的基准测试。该基准测试包含105个手工制作的Python程序，每个程序都有修改前后的代码块、两种类型的自然语言指令（描述性和懒人式）以及一个隐藏的测试套件。描述性指令模拟用户提供具体规格或另一个模型概述计划的情况，类似于Reflexion提示；而懒人式指令则类似于用户在代码生成中对LLMs的典型查询。

原始信息汇总

数据集概述

数据集名称

CanItEdit

数据集目的

评估大型语言模型（LLMs）在指令代码编辑任务上的表现。

数据集内容

• 包含105个手工制作的Python程序。
• 每个程序包含编辑前后的代码块。
• 提供两种类型的自然语言指令：描述性和懒惰型。
• 包含一个隐藏的测试套件。