FalconCode, Singapore

本研究使用了两个高质量的公开编程数据集：FalconCode和Singapore，这两个数据集被精心挑选用于评估教育程序修复任务。FalconCode数据集包含来自多个学期的学生提交的编程作业，涵盖不同难度级别，特别适合用于评估大型语言模型在程序修复中的应用。Singapore数据集则包含了来自新加坡国立大学的学生编程作业，涉及基础编程概念，适合用于评估模型在无先前数据可用情况下的修复能力。这两个数据集的创建旨在标准化教育程序修复的评估，促进不同模型和方法之间的公平比较，从而推动教育领域中程序修复技术的发展。

This study utilizes two high-quality open programming datasets: FalconCode and Singapore, which were carefully selected for evaluating educational program repair tasks. The FalconCode dataset contains student-submitted programming assignments from multiple semesters, covering varying difficulty levels, making it particularly suitable for evaluating the application of Large Language Models (LLMs) in program repair. The Singapore dataset, on the other hand, comprises student programming assignments from the National University of Singapore (NUS) that cover fundamental programming concepts, and is suitable for evaluating a model's repair capability in scenarios where no prior data is available. The creation of these two datasets aims to standardize the evaluation of educational program repair, facilitate fair comparisons between different models and methods, and thereby advance the development of program repair technologies in the field of education.

搜集汇总

数据集介绍

构建方式

在编程教育领域，标准化基准的缺失制约了大型语言模型在程序修复任务中的可比性研究。FalconCode数据集的构建源于对高质量公开编程数据的精心筛选与整合，其核心方法涉及从多学期课程中采集学生提交的Python代码解决方案，并依据任务描述、单元测试及元数据（如作业难度）进行结构化处理。通过剔除中间运行记录和零分提交，并基于抽象语法树相似性去除冗余样本，最终形成一个包含不同难度级别（如“简单”与“困难”）的测试子集，确保了数据在语义层面的多样性与代表性。

特点

该数据集在编程教育基准中展现出显著特点：其覆盖了多学期真实课程中的自由形式编程任务，不仅包含函数编写练习，还拓展至非函数式代码场景，从而更全面地反映了学生编程中的复杂错误模式。数据集附带的单元测试与元数据（如作业难度分级）为评估模型修复能力提供了结构化基础。此外，其规模适中（如测试集含1305个样本），兼顾了计算资源可行性与统计可靠性，且通过公开获取机制促进了研究的可复现性。

使用方法

在应用层面，FalconCode数据集主要用于评估大型语言模型在程序修复任务中的性能。典型使用流程包括：将问题描述、错误代码及上下文信息（如评分者反馈）组合为提示输入模型，生成多个修复候选；随后通过单元测试验证功能正确性，并采用rouge@k等指标衡量修复代码与原始错误的语义接近程度。该框架支持零样本、少样本或监督微调等实验设置，便于研究者横向比较不同模型在相同数据上的表现，从而推动编程教育中反馈生成技术的标准化发展。

背景与挑战

背景概述

随着大语言模型在教育领域的广泛应用，编程教育中的自动程序修复任务逐渐成为研究热点。FalconCode数据集由阿尔托大学与奥克兰大学的研究团队于2024年提出，旨在为教育场景下的程序修复任务提供标准化评估基准。该数据集整合了来自真实编程课程的学生提交代码，涵盖不同难度层级的作业题目，并配备了单元测试与元数据。其核心研究问题在于解决现有研究中因使用定制化数据集与评估指标而导致的不可比性问题，推动大语言模型在编程反馈与调试支持方面的可靠应用，对计算教育研究领域的规范化发展具有重要影响。

当前挑战

FalconCode数据集面临的挑战主要体现在两个方面：其一，在解决教育程序修复领域问题时，需应对学生代码错误的多样性与复杂性，这些错误不仅包括语法与逻辑缺陷，还涉及编程思维与结构性问题，传统基于单元测试的评估方法难以全面捕捉修复质量；其二，在数据集构建过程中，研究者需处理大规模原始提交数据的噪声过滤、作业依赖外部文件的缺失问题，以及通过抽象语法树归一化去除重复提交的技术难题，同时还需在有限标注下构建高质量修复样本，确保数据集的代表性与评估的公正性。

常用场景

经典使用场景

在编程教育领域，FalconCode数据集被广泛用于评估大型语言模型在程序修复任务中的性能。该数据集汇集了来自入门级计算机科学课程的多学期Python代码提交，包含丰富的错误类型和难度分级，为研究者提供了一个标准化的测试平台。通过模拟真实教育场景中的编程作业，该数据集能够系统性地衡量模型在修复学生代码错误方面的准确性和鲁棒性，从而推动自动化反馈技术的发展。

衍生相关工作

围绕FalconCode数据集，衍生出一系列关于教育场景下程序修复的经典研究。例如，基于该数据集对CodeGen、StarCoder等开源模型进行监督微调，探索了模型规模与修复性能的关联；同时，研究还借鉴了Refactory等自动修复工具的方法，构建人工修复样本以优化训练过程。这些工作不仅验证了数据集的实用性，也为后续探索提示工程、跨数据集泛化等方向提供了重要参考。

数据集最近研究

最新研究方向

在编程教育领域，随着大型语言模型（LLMs）的兴起，自动程序修复已成为提升学生调试能力与反馈质量的前沿研究方向。FalconCode数据集作为基准工具，聚焦于评估LLMs在修复学生代码错误时的性能，尤其通过引入rouge@k等新颖指标，量化修复结果与原始代码的语义接近度，从而推动教育场景下反馈生成技术的标准化与可比较性。当前研究热点在于利用开源模型进行监督微调，探索模型在不同难度任务间的泛化与过拟合问题，同时致力于构建跨数据集、多编程语言的基准框架，以应对教育实践中多样化的错误类型与教学需求。这一进展不仅为个性化学习支持提供了技术基础，也促进了教育人工智能与自然语言处理领域的交叉创新。

相关研究论文

• Benchmarking Educational Program Repair

  阿尔托大学 · 2024年