Meyerger/ASAG2024

ASAG2024数据集是一个用于自动评分的综合数据集，包含各种自动评分数据集，其中包括问题、参考答案、学生答案和人工评分。该数据集由Gérôme Meyer整理，语言为英语，适用于自然语言处理任务。数据来源包括Stita等，使用时需引用原始作者。

The ASAG2024 dataset is a comprehensive resource for automated scoring tasks. It aggregates multiple automated scoring datasets, each containing questions, reference answers, student responses, and human-assigned scores. This dataset was curated by Gérôme Meyer, is in English, and supports a range of natural language processing (NLP) tasks. The data originates from Stita et al., and users are required to cite the original authors when utilizing this dataset.

原始信息汇总

数据集卡片：ASAG2024

数据集概述

ASAG2024数据集是一个综合性的自动评分数据集，包含多个数据集，涵盖问题、参考答案、学生答案和人工评分。

数据集详情

数据集描述

• 策划者： Gérôme Meyer
• 语言： 英语
• 许可证： 数据源许可证适用（见下文）

数据集来源

该数据集从以下来源收集。如果您在工作中使用此数据集，请确保引用原始作者。

Stita

• 仓库： https://github.com/edgresearch/dataset-automaticgrading-2022/tree/master

• 引用：

  del Gobbo, E., Guarino, A., Cafarelli, B. et al. GradeAid: a framework for automatic short answers grading in educational contexts—design, implementation and evaluation. Knowl Inf Syst 65, 4295–4334 (2023). https://doi.org/10.1007/s10115-023-01892-9

• BibTex：

  @Article{delGobbo2023, author={del Gobbo, Emiliano and Guarino, Alfonso and Cafarelli, Barbara and Grilli, Luca}, title={GradeAid: a framework for automatic short answers grading in educational contexts---design, implementation and evaluation}, journal={Knowledge and Information Systems}, year={2023}, month={Oct}, day={01}, volume={65}, number={10}, pages={4295-4334}, issn={0219-3116}, doi={10.1007/s10115-023-01892-9}, url={https://doi.org/10.1007/s10115-023-01892-9} }

数据集卡片作者

• Gérôme Meyer
• Philip Breuer

数据集卡片联系

• 电子邮件：[e-mail]

搜集汇总

数据集介绍

构建方式

在自动短答案评分领域，ASAG2024数据集通过整合多个权威子集构建而成。其核心方法是从Stita、Short-Answer Feedback、Mohler et al.、Beetle II、CU-NLP及ScientsBank等现有数据源中系统收集数据，这些子集均包含问题、参考答案、学生答案及人工评分。构建过程注重数据的多样性与代表性，确保覆盖不同学科背景与评分标准，从而形成一个规模介于一万至十万条记录之间的综合性基准数据集。

使用方法

研究人员可通过HuggingFace平台直接加载该数据集，利用其提供的结构化字段进行模型训练与评估。典型应用包括开发自动评分算法、探索答案语义相似度计算以及生成个性化反馈。使用前需遵循各子集的原始许可协议，并正确引用相关文献。示例代码可在项目GitHub页面获取，便于快速上手与复现实验。

背景与挑战

背景概述

自动短答案评分（ASAG）作为教育技术领域的关键研究方向，旨在通过计算模型对学生的开放式文本回答进行自动化评估。ASAG2024数据集由Gérôme Meyer等人于2024年整合发布，汇集了多个权威子集，如Stita、SAF、Mohler等，覆盖了从基础科学到人文社科的多学科语境。该数据集的核心研究问题聚焦于提升评分模型的泛化能力与跨领域适应性，通过统一基准推动自然语言处理与教育评估的交叉创新，为智能辅导系统与大规模在线教育提供了关键数据支撑。

当前挑战

在自动短答案评分领域，模型需应对语义理解的深层复杂性，包括答案的多样性表达、概念细微差异以及评分标准的主观性，这些因素使得精确评分成为持续挑战。数据构建过程中，整合多源异构数据面临标注一致性、领域迁移与数据平衡等难题，不同子集在评分粒度、语言风格和知识范畴上的差异，进一步增加了数据标准化与模型泛化的难度。

常用场景

经典使用场景

在自动评分研究领域，ASAG2024数据集作为综合性基准，为短答案自动评分任务提供了标准化的评估框架。该数据集整合了多个来源的问答数据，涵盖问题、参考答案、学生答案及人工评分，使得研究者能够系统性地训练和验证评分模型。其经典使用场景包括开发基于语义相似度、依赖图对齐或深度学习方法的自动评分算法，通过对比学生答案与参考答案的语义一致性，实现高效、客观的评分过程，从而推动教育技术中自动化评估工具的发展。

解决学术问题

ASAG2024数据集有效解决了短答案自动评分中的核心学术问题，如评分模型的泛化能力不足和数据集碎片化。通过融合Stita、SAF、Mohler等多个权威数据集，它构建了统一且多样化的基准，促进了跨领域评分方法的比较与优化。这一整合不仅提升了模型在复杂教育场景下的鲁棒性，还推动了自然语言处理与教育计算的交叉研究，为自动化评分系统的标准化和可重复性奠定了坚实基础，具有重要的学术影响。

实际应用

在实际应用层面，ASAG2024数据集支持教育机构开发智能辅导系统，实现大规模在线课程中短答案的即时评分与反馈。例如，在基础电学或科学概念教学中，该系统可自动分析学生答案的准确性，提供个性化指导，减轻教师负担。此外，数据集还可用于企业培训或资格认证场景，通过自动化评估确保评分的一致性与效率，从而优化学习体验并提升教育资源的可及性，体现了人工智能技术在教育领域的实用价值。

数据集最近研究

最新研究方向

在自动短答案评分领域，ASAG2024数据集作为综合性基准，正推动前沿研究向多模态与可解释性方向深化。当前研究聚焦于利用大语言模型提升评分准确性，同时结合语义相似度与依存图对齐技术，以应对开放式问题的复杂语境。热点事件包括教育智能化背景下，该数据集被广泛应用于开发自适应反馈系统，促进个性化学习体验。其影响在于为学术界提供了标准化评估工具，加速了自动评分技术的迭代与优化，对教育公平与效率提升具有深远意义。