vibepass

VIBEPASS数据集是一个用于评估大型语言模型（LLM）在故障针对性推理方面能力的基准数据集，特别关注于错误检测和修复。该数据集包含173个竞争性编程问题的示例，每个问题都配有LLM生成的解决方案，这些解决方案能够通过部分测试套件但在语义边缘案例上失败。每个样本包含以下字段：question_id（问题唯一标识符）、question_title（问题标题）、question_content（问题描述及约束条件）、platform（问题来源平台）、starter_code（初始代码模板）、difficulty（问题难度级别）、silver_solution（正确的人类解决方案）、buggy_solution（包含错误的模型生成解决方案）和test_checker（验证测试输入正确性的代码）。该数据集适用于错误检测、错误定位和错误修复等任务。