ERRORRADAR

ERRORRADAR是由香港科技大学(广州)、香港科技大学、松鼠AI等机构联合创建的多模态数学推理错误检测基准数据集。该数据集包含2500个高质量的多模态K-12数学问题，来源于真实的学生互动数据，经过严格的标注和丰富的元数据处理。数据集的创建过程包括从教育组织中收集问题，并通过专业标注人员进行详细的手动标注。ERRORRADAR主要应用于评估多模态大语言模型在复杂数学推理任务中的错误检测能力，旨在提升模型在教育场景中的应用效果。

ERRORRADAR is a multimodal mathematical reasoning error detection benchmark dataset jointly developed by institutions including Hong Kong University of Science and Technology (Guangzhou), Hong Kong University of Science and Technology, and Squirrel AI. This dataset comprises 2,500 high-quality multimodal K-12 mathematics problems sourced from real student interaction data, with rigorous annotation and comprehensive metadata processing. The construction of ERRORRADAR involves collecting problems from educational organizations and conducting detailed manual annotation by professional annotators. Primarily, ERRORRADAR is applied to evaluate the error detection capabilities of multimodal large language models in complex mathematical reasoning tasks, with the goal of enhancing the practical performance of such models in educational scenarios.

AI搜集汇总

数据集介绍

构建方式

ERRORRADAR数据集的构建基于真实的学生互动数据，从一家教育机构收集了2,500个高质量的多模态K-12数学问题。为了确保数据集的质量和相关性，采用了严格的手动标注过程。标注过程包括错误步骤的识别和错误分类，确保每个问题都附有详细的元数据，如问题类型和错误类别。此外，数据集还包含了学生的实际错误答案，以提供一个相对健壮的实验设置。

特点

ERRORRADAR数据集的主要特点是其多模态性质和真实的学生错误数据。该数据集不仅涵盖了多种数学问题类型，如平面几何、立体几何、代数等，还详细分类了错误类型，包括视觉感知错误、计算错误、推理错误等。这种细致的分类和多样的数据类型使得ERRORRADAR成为评估多模态大语言模型在复杂数学推理任务中错误检测能力的理想基准。

使用方法

ERRORRADAR数据集主要用于评估多模态大语言模型在数学错误检测任务中的表现。使用该数据集时，模型需要识别学生在解答数学问题时的错误步骤，并对其进行分类。具体任务包括错误步骤识别和错误分类，模型需根据问题的文本和图像部分，以及学生的错误答案和正确答案，输出错误步骤的索引和错误类别。通过这种方式，ERRORRADAR能够全面评估模型在复杂数学推理中的能力。

背景与挑战

背景概述

随着多模态大语言模型（MLLMs）领域的不断发展，其在解决数学推理任务方面的潜力尤为显著。当前的数学基准主要集中在评估MLLMs的问题解决能力，但在处理更复杂的场景，如错误检测方面存在显著的差距。为了填补这一空白，我们正式提出了多模态错误检测这一新任务，并引入了ERRORRADAR，这是首个用于评估MLLMs在这一任务中能力的基准。ERRORRADAR评估两个子任务：错误步骤识别和错误分类，提供了一个全面的框架来评估MLLMs的复杂数学推理能力。该基准包含2500个高质量的多模态K-12数学问题，这些问题收集自教育组织中的真实学生互动，并经过严格的注释和丰富的元数据，如问题类型和错误类别。

当前挑战

ERRORRADAR数据集在构建过程中面临多个挑战。首先，解决领域问题的挑战在于如何准确识别和分类数学推理中的错误，这在教育场景中尤为重要。其次，构建过程中遇到的挑战包括如何从真实学生互动中收集高质量的数据，并进行严格的注释以确保数据集的可靠性和相关性。此外，评估MLLMs在错误检测任务中的表现时，如何确保评估的全面性和准确性也是一个重要挑战。实验结果表明，即使是最先进的MLLMs，如GPT-4o，在错误检测任务中的表现仍与人类评估存在显著差距，这表明该领域仍需进一步的研究和改进。

常用场景

经典使用场景

ERRORRADAR数据集的经典使用场景在于评估多模态大语言模型（MLLMs）在复杂数学推理任务中的错误检测能力。通过提供2500个高质量的多模态K-12数学问题，该数据集能够全面评估MLLMs在错误步骤识别和错误分类两个子任务中的表现。这不仅有助于学术界深入理解MLLMs在数学推理中的局限性，还为开发更强大的多模态模型提供了宝贵的基准。

解决学术问题

ERRORRADAR数据集解决了当前多模态大语言模型在复杂数学推理任务中错误检测能力的评估缺失问题。传统数学基准主要关注问题解决能力，而忽视了错误检测这一关键环节。ERRORRADAR通过引入错误检测任务，填补了这一研究空白，为提升MLLMs在复杂场景中的推理能力提供了新的研究方向。其意义在于推动人工智能在教育领域的应用，特别是在个性化学习和智能辅导系统中，具有重要的学术和实际应用价值。

衍生相关工作

ERRORRADAR数据集的引入催生了一系列相关的经典工作，特别是在多模态大语言模型的错误检测和数学推理领域。基于ERRORRADAR的研究成果，学者们开发了多种改进的MLLMs模型，这些模型在错误检测和分类任务中表现出色。此外，ERRORRADAR还激发了对多模态数据处理和融合技术的深入研究，推动了视觉和语言模态在数学问题解决中的协同作用。这些衍生工作不仅提升了MLLMs的性能，也为其他领域的多模态应用提供了新的思路和方法。