yuntian-deng/mgsm

Multilingual Grade School Math Benchmark (MGSM) 是一个多语言的小学数学问题基准，包含10种语言的250个问题，这些问题是从GSM8K数据集中翻译而来的。数据集的结构包括训练集和测试集，每个实例包含问题、答案、答案数字和方程解。数据集的创建过程涉及人工翻译和验证，以确保问题的准确性和一致性。The Multilingual Grade School Math Benchmark (MGSM) dataset is a benchmark of grade-school math problems, based on 250 problems from the GSM8K dataset translated by human annotators into 10 languages. These languages include Spanish, French, German, Russian, Chinese, Japanese, Thai, Swahili, Bengali, and Telugu. The dataset supports text-to-text generation tasks for solving basic mathematical problems that require multi-step reasoning. Each problem instance includes features such as the question, answer, numeric solution, and equation solution. The dataset is licensed under the CC-BY-SA-4.0 license.

原始信息汇总

数据集概述

数据集名称

Multilingual Grade School Math Benchmark (MGSM)

数据集简介

MGSM 是一个包含小学数学问题的基准数据集，包含250个问题，这些问题被翻译成10种语言。原始数据集 GSM8K 包含8.5K个高质量、语言多样的小学数学问题，支持多步推理的问答任务。

支持的语言

• 英语 (en)
• 西班牙语 (es)
• 法语 (fr)
• 德语 (de)
• 俄语 (ru)
• 中文 (zh)
• 日语 (ja)
• 泰语 (th)
• 斯瓦希里语 (sw)
• 孟加拉语 (bn)

数据集结构

数据实例

• 训练集：每个实例包含以下字段：
  • question：小学数学问题
  • answer：包含多步推理的完整解答
  • answer_number：问题的数值解答
  • equation_solution：问题的方程解答
• 测试集：每个实例包含以下字段：
  • question：小学数学问题
  • answer_number：问题的数值解答

数据字段

• question：小学数学问题
• answer：包含多步推理的完整解答
• answer_number：问题的数值解答
• equation_solution：问题的方程解答

数据分割

• 训练集：每个语言包含8个实例
• 测试集：每个语言包含250个实例

数据集创建

数据来源

• 原始数据集 GSM8K 由 Upwork 和 Surge AI 收集和标注

标注过程

• 标注由 Surge AI 完成

许可证

• 数据集使用 CC-BY-SA-4.0 许可证

引用信息

bibtex @article{cobbe2021gsm8k, title={Training Verifiers to Solve Math Word Problems}, author={Cobbe, Karl and Kosaraju, Vineet and Bavarian, Mohammad and Chen, Mark and Jun, Heewoo and Kaiser, Lukasz and Plappert, Matthias and Tworek, Jerry and Hilton, Jacob and Nakano, Reiichiro and Hesse, Christopher and Schulman, John}, journal={arXiv preprint arXiv:2110.14168}, year={2021} } @misc{shi2022language, title={Language Models are Multilingual Chain-of-Thought Reasoners}, author={Freda Shi and Mirac Suzgun and Markus Freitag and Xuezhi Wang and Suraj Srivats and Soroush Vosoughi and Hyung Won Chung and Yi Tay and Sebastian Ruder and Denny Zhou and Dipanjan Das and Jason Wei}, year={2022}, eprint={2210.03057}, archivePrefix={arXiv}, primaryClass={cs.CL} }

搜集汇总

数据集介绍

构建方式

Multilingual Grade School Math Benchmark (MGSM)数据集的构建，始于对GSM8K数据集中的8000个小学数学问题的精选，这些问题经过人工翻译，被转化为10种不同的语言，包括西班牙语、法语、德语、俄语、中文、日语、泰语、斯瓦希里语、孟加拉语和泰卢固语。构建过程中，不仅包含了问题的翻译，还包括了每一步解题过程的详细说明、问题的数值答案以及对应的方程式解答。数据集的训练部分含有每种语言的8个示例，而测试部分则含有250个翻译后的问题。

特点

MGSM数据集的特点在于其多语种特性，它为研究者和开发者提供了一个在多种语言环境下评估模型解决小学数学问题能力的平台。数据集涵盖了数学文字问题的多样性，且每个问题都附带详细的解题步骤和答案，这有助于训练和评估模型在数学推理方面的性能。此外，数据集的构建注重质量，通过对翻译和解答的一致性检查，确保了数据集的准确性和可靠性。

使用方法

使用MGSM数据集时，用户可以根据需要选择不同的语言版本。数据集提供了`.tsv`格式的文件，其中包含了问题、解题步骤、数值答案和方程式答案。用户可以加载这些文件，并根据具体的任务需求进行模型的训练和测试。对于开发者而言，数据集还包含了少量示例，这些示例可用于模型的微调，以便更好地适应特定的语言和数学问题类型。

背景与挑战

背景概述

Multilingual Grade School Math Benchmark (MGSM)数据集，是在2022年提出的一个多语言数学问题解答基准。该数据集由OpenAI团队创建，旨在支持多语言环境中小学数学问题的解答任务，特别是在需要多步骤推理的情况下。MGSM数据集包含了250个源自GSM8K数据集的问题，这些问题被专业的人类标注员翻译成了10种语言，包括西班牙语、法语、德语、俄语、中文、日语、泰语、斯瓦希里语、孟加拉语和泰卢固语。该数据集的创建，不仅丰富了多语言数学问题解答的研究资源，也对推动相关领域的技术发展产生了重要影响。

当前挑战

MGSM数据集在构建过程中遇到的挑战主要包括：如何确保翻译的准确性和一致性，以及如何处理数学问题中可能存在的细微错误或歧义。此外，数据集在解决多语言数学问题领域的挑战体现在，需要模型能够理解并推理不同语言表达下的数学概念，同时保持解答的准确性和效率。对于研究人员来说，如何在多语言环境中平衡模型的性能和资源消耗，也是一个值得探讨的问题。

常用场景

经典使用场景

在语言模型研究领域，MGSM数据集的经典使用场景在于评估模型对于多语言小学数学问题的理解和解答能力。该数据集包含250个翻译成10种语言的小学数学问题，为研究者在多语言环境下进行模型训练和评估提供了标准化的问题集。

实际应用

在实际应用中，MGSM数据集可以被用来开发和测试能够处理多语言数学问题的教育软件，为不同语言背景的学生提供个性化的数学学习资源和辅导工具，从而促进教育的公平性和普及性。

衍生相关工作

基于MGSM数据集，研究者可以进一步开展多语言数学推理模型的研究，衍生出一系列相关工作，如多语言数学问题生成、自动评分系统开发、以及数学教育辅助工具的研制等，为数学教育领域带来创新性的变革。