livebench/liveswebench

LiveSWEBench是一个包含各种任务实例的数据集，用于评估代码编辑和补全任务。每个任务实例包括代码仓库名称、原始的Pull Request编号、golden补丁（实际修复问题的更改）、测试补丁（验证解决方案的更改）、编辑补丁（仅针对一个文件的更改）、自动完成补丁（golden补丁的一部分）、任务提示、编辑任务提示、自动完成提示以及基础提交哈希。

LiveSWEBench is a dataset containing various task instances for evaluating code editing and completion tasks. Each task instance includes the repository name, the original Pull Request number, the gold patch (actual changes to fix the issue), test patch (changes to validate the task solution), edit patch (changes to just one file), autocomplete patch (a subset of hunks from the gold patch), task prompt, edit prompt, autocomplete prompts, and the base commit hash.