AMMORE

AMMORE数据集是由加纳崛起学院创建的，包含53,031条来自西非中学生的数学开放式问题答案。数据集通过Rori，一个AI驱动的WhatsApp数学辅导平台收集，涵盖了6至9年级的代数和数与运算领域。数据集的创建旨在研究学生在实际教育环境中对数学知识的掌握情况，特别是在教育资源有限的地区。该数据集的应用领域主要集中在K-12数学教育中的形成性评估，旨在通过自动评分系统提高评分的准确性和效率，从而促进开放式问题在教育评估中的广泛应用。

The AMMORE dataset was developed by Rising Academy Ghana. It contains 53,031 open-ended math answers from West African middle school students. Collected via Rori, an AI-powered WhatsApp-based math tutoring platform, the dataset covers the domains of algebra, number and operations for grades 6 through 9. The dataset was created to study students' mastery of mathematical knowledge in real educational contexts, especially in regions with limited educational resources. Its main application focuses on formative assessment in K-12 mathematics education, with the goal of improving the accuracy and efficiency of grading through automatic scoring systems, thereby promoting the widespread use of open-ended questions in educational assessment.

搜集汇总

数据集介绍

构建方式

AMMORE数据集由来自西非多个国家的学生通过Rori平台提供的53,000个数学开放式问题和答案对组成。Rori是一个基于WhatsApp的AI数学辅导工具，允许学生在家中或学校免费练习数学概念。数据集的构建包括收集学生在Rori平台上完成的数学练习，涵盖了从六年级到九年级的数学问题，主要集中在代数和数与运算领域。每个答案对包括问题文本、学生答案、预期答案、模型评分、人工评分、学习标准、回答时间和用户ID等信息。

特点

AMMORE数据集的显著特点在于其丰富的结构和多样化的学生群体。数据集不仅包含了详细的数学问题和答案对，还包括学生的自我报告年龄、国家代码和使用Rori的活跃天数等匿名化的人口统计信息。此外，数据集还提供了每个问题的学习标准和微课程信息，使得研究人员能够进行深入的技能掌握分析和难度评估。

使用方法

AMMORE数据集适用于多种教育研究目的，包括但不限于学生技能掌握的跨微课程分析、特定问题或微课程的相对难度分析，以及不同评分模型与人工评分的一致性研究。研究人员可以通过分析学生的回答模式和评分结果，评估自动评分系统的准确性和一致性，从而改进智能辅导系统的设计和个性化学习路径的制定。

背景与挑战

背景概述

AMMORE数据集由Rising Academies创建，包含来自西非中学生的53,000个数学开放式问题和答案对。该数据集于2024年发布，主要研究人员包括Owen Henkel、Hannah Horne-Robinson等。AMMORE数据集的核心研究问题是如何利用大型语言模型（LLM）提高对学生挑战性答案的评分准确性。该数据集不仅为研究学生数学能力的获取提供了重要资源，还为在教育资源有限的实际教育环境中探索学生数学能力的获取提供了独特的机会。

当前挑战

AMMORE数据集面临的挑战主要集中在两个方面：一是解决领域问题的挑战，即如何准确评估学生在数学开放式问题中的答案，特别是在答案格式多样且复杂的情况下；二是构建过程中遇到的挑战，包括数据收集的复杂性和多样性，以及如何处理学生答案中的边缘案例。此外，数据集还需要应对自动评分系统在处理学生答案时可能出现的误分类问题，尤其是在独立学习环境中，误分类可能导致学生的困惑和挫败感。

常用场景

经典使用场景

AMMORE数据集的经典使用场景在于评估大型语言模型（LLM）在数学开放式问题评分中的应用。通过该数据集，研究者可以探索不同LLM驱动的方法，如零样本、少样本和链式思维提示，以提高评分准确性。特别是链式思维提示方法，其在处理学生答案的复杂性和多样性方面表现出色，显著提升了整体评分精度。

实际应用

AMMORE数据集的实际应用场景广泛，特别是在非洲等教育资源有限的地区。通过Rori平台收集的数据，AMMORE为教育技术提供了宝贵的资源，支持开发智能辅导系统（ITS）和个性化学习路径。这些系统可以根据学生的实际表现提供即时反馈和适应性学习建议，从而提高教育质量和学生参与度。

衍生相关工作

基于AMMORE数据集，研究者们已经开展了一系列相关工作，特别是在自动短答案评分（ASAG）和大型语言模型（LLM）的应用方面。例如，研究者们探索了链式思维提示在提高评分准确性方面的潜力，并评估了这些改进对学生能力估计的影响。此外，AMMORE数据集还促进了教育评估中LLM的进一步研究和应用，推动了智能辅导系统和个性化学习技术的发展。