MMSAF

MMSAF数据集由印度理工学院孟买分校的研究团队创建，旨在解决多模态短答案评分与反馈问题。该数据集包含2197个数据点，涵盖了高中物理、化学和生物学科的问题与答案对。数据集的生成过程包括从公开的高中教材中提取问题与参考答案，并通过自动化框架生成学生的多模态回答。数据集的应用领域主要集中在教育技术领域，特别是智能辅导系统，旨在通过自动评分和反馈提升学生的学习效果。The MMSAF dataset was developed by a research team from the Indian Institute of Technology Bombay, aiming to solve the problem of multimodal short answer scoring and feedback. It contains 2,197 data points, covering question-answer pairs from high school physics, chemistry and biology subjects. The dataset generation process includes extracting questions and reference answers from publicly available high school textbooks, and generating multimodal student responses via an automated framework. Its application fields are mainly concentrated in educational technology, especially intelligent tutoring systems, with the goal of improving student learning outcomes through automatic scoring and feedback.

搜集汇总

数据集介绍

构建方式

MMSAF数据集的构建基于高中物理、化学和生物学科的181个问答对，通过合成生成2197个数据点。每个数据点包含问题、参考答案、学生答案、正确性等级、图像相关性、样本反馈及反馈评估标准。学生答案的文本和图像部分分别生成，文本部分通过引入事实不一致或虚构的方式生成部分正确或错误的答案，图像部分则通过对参考答案图像进行扰动或替换生成。最终，通过正确性矩阵将文本和图像部分组合，形成完整的学生答案。

特点

MMSAF数据集的特点在于其多模态性，不仅包含文本，还涉及图像，能够更全面地评估学生对知识的理解。数据集涵盖了高中物理、化学和生物学科，提供了丰富的学科背景。此外，数据集通过合成生成学生答案，确保了多样性和可控性，同时提供了详细的反馈评估标准，便于对生成反馈的质量进行量化评估。

使用方法

MMSAF数据集可用于训练和评估多模态大语言模型在自动短答案评分与反馈生成任务中的表现。使用该数据集时，模型需要根据问题、参考答案和学生答案生成正确性等级、图像相关性及反馈。反馈应指出学生答案中的错误，并提供解释。数据集还可用于评估模型在多模态推理和反馈生成方面的能力，特别是在处理文本和图像结合的场景时。

背景与挑战

背景概述

MMSAF（Multimodal Short Answer Grading with Feedback）数据集由印度理工学院孟买分校的Pritam Sil、Bhaskaran Raman和Pushpak Bhattacharyya等研究人员于2024年提出，旨在解决自动短答案评分（ASAG）中的多模态反馈问题。该数据集包含2197个数据点，涵盖了高中物理、化学和生物学科中的问题与答案。MMSAF的独特之处在于它不仅处理文本答案，还引入了图像作为答案的一部分，从而更全面地评估学生对知识的理解。该数据集的创建为智能辅导系统（ITS）提供了新的研究方向，尤其是在多模态反馈生成领域，推动了自动评分系统的发展。

当前挑战

MMSAF数据集在构建和应用过程中面临多重挑战。首先，多模态数据的融合与评估是核心难题，模型需要同时处理文本和图像信息，并准确判断其相关性。其次，数据集的构建依赖于合成生成的学生答案，这可能导致数据分布的不平衡，尤其是部分正确答案的比例较高，影响了模型的训练效果。此外，图像部分的标注需要人工干预，增加了数据集的构建成本与复杂性。在应用层面，现有的多模态大语言模型在处理复杂推理任务时表现不一，如何提升模型在多模态反馈生成中的准确性与一致性，仍是亟待解决的问题。

常用场景

经典使用场景

MMSAF数据集主要用于多模态短答案评分与反馈生成的研究场景。该数据集通过结合文本和图像，模拟学生在回答主观题时可能使用的多模态表达方式。经典使用场景包括利用大语言模型（LLM）对学生的短答案进行自动评分，并生成详细的反馈，帮助教师和学生理解评分依据。

解决学术问题

MMSAF数据集解决了传统自动短答案评分（ASAG）系统中无法处理多模态数据的局限性。通过引入图像和文本的结合，该数据集能够更全面地评估学生的理解能力，尤其是在科学类学科中，图像常被用于辅助解释复杂概念。此外，该数据集还为研究者提供了一个基准，用于开发和评估多模态反馈生成模型，推动了教育技术领域的发展。

衍生相关工作

MMSAF数据集的推出催生了一系列相关研究，特别是在多模态反馈生成和自动评分领域。例如，基于该数据集的研究提出了基于检索增强生成（RAG）的反馈生成方法，显著提升了模型在未见问题上的评分准确性。此外，研究者还开发了自动化解释性学生响应评估框架（AERA），利用ChatGPT生成评分依据，进一步推动了多模态反馈生成技术的发展。