Mathoctopus/MSVAMP

---
license: apache-2.0
task_categories:
- text-generation
language:
- bn
- zh
- en
- fr
- de
- ja
- ru
- es
- sw
- th
size_categories:
- 1K<n<10K
configs:
- config_name: bn
data_files:
- split: test
path: test_Bengali.json
- config_name: zh
data_files:
- split: test
path: test_Chinese.json
- config_name: en
data_files:
- split: test
path: test_English.json
- config_name: fr
data_files:
- split: test
path: test_French.json
- config_name: de
data_files:
- split: test
path: test_German.json
- config_name: ja
data_files:
- split: test
path: test_Japanese.json
- config_name: ru
data_files:
- split: test
path: test_Russian.json
- config_name: es
data_files:
- split: test
path: test_Spanish.json
- config_name: sw
data_files:
- split: test
path: test_Swahili.json
- config_name: th
data_files:
- split: test
path: test_Thai.json
---

许可证：Apache-2.0
任务类别：
- 文本生成（text-generation）
使用语言：
- 孟加拉语（bn）
- 中文（zh）
- 英语（en）
- 法语（fr）
- 德语（de）
- 日语（ja）
- 俄语（ru）
- 西班牙语（es）
- 斯瓦西里语（sw）
- 泰语（th）
数据规模类别：
- 1000 < 样本量 < 10000
配置项：
- 配置名称：bn（孟加拉语）
数据文件：
- 拆分方式：测试集（test）
文件路径：test_Bengali.json
- 配置名称：zh（中文）
数据文件：
- 拆分方式：测试集（test）
文件路径：test_Chinese.json
- 配置名称：en（英语）
数据文件：
- 拆分方式：测试集（test）
文件路径：test_English.json
- 配置名称：fr（法语）
数据文件：
- 拆分方式：测试集（test）
文件路径：test_French.json
- 配置名称：de（德语）
数据文件：
- 拆分方式：测试集（test）
文件路径：test_German.json
- 配置名称：ja（日语）
数据文件：
- 拆分方式：测试集（test）
文件路径：test_Japanese.json
- 配置名称：ru（俄语）
数据文件：
- 拆分方式：测试集（test）
文件路径：test_Russian.json
- 配置名称：es（西班牙语）
数据文件：
- 拆分方式：测试集（test）
文件路径：test_Spanish.json
- 配置名称：sw（斯瓦西里语）
数据文件：
- 拆分方式：测试集（test）
文件路径：test_Swahili.json
- 配置名称：th（泰语）
数据文件：
- 拆分方式：测试集（test）
文件路径：test_Thai.json

原始信息汇总

数据集概述

许可证

• Apache 2.0

任务类别

• 文本生成

语言

• 孟加拉语 (bn)
• 中文 (zh)
• 英语 (en)
• 法语 (fr)
• 德语 (de)
• 日语 (ja)
• 俄语 (ru)
• 西班牙语 (es)
• 斯瓦希里语 (sw)
• 泰语 (th)

数据大小

• 1K<n<10K

配置文件

• 孟加拉语 (bn)
  • 分割: 测试
  • 文件路径: test_Bengali.json
• 中文 (zh)
  • 分割: 测试
  • 文件路径: test_Chinese.json
• 英语 (en)
  • 分割: 测试
  • 文件路径: test_English.json
• 法语 (fr)
  • 分割: 测试
  • 文件路径: test_French.json
• 德语 (de)
  • 分割: 测试
  • 文件路径: test_German.json
• 日语 (ja)
  • 分割: 测试
  • 文件路径: test_Japanese.json
• 俄语 (ru)
  • 分割: 测试
  • 文件路径: test_Russian.json
• 西班牙语 (es)
  • 分割: 测试
  • 文件路径: test_Spanish.json
• 斯瓦希里语 (sw)
  • 分割: 测试
  • 文件路径: test_Swahili.json
• 泰语 (th)
  • 分割: 测试
  • 文件路径: test_Thai.json

搜集汇总

数据集介绍

构建方式

在数学推理与多语言自然语言处理交叉领域，Mathoctopus/MSVAMP数据集的构建体现了严谨的学术设计理念。该数据集通过精心策划，覆盖了包括孟加拉语、中文、英语、法语、德语、日语、俄语、西班牙语、斯瓦希里语和泰语在内的十种语言。其构建过程专注于从测试集角度出发，为每种语言独立创建了结构化的JSON数据文件，确保了数据在跨语言数学问题求解任务中的代表性与平衡性，为评估模型的多语言泛化能力奠定了坚实基础。

特点

该数据集的核心特征在于其鲜明的多语言与专业化导向。它不仅囊括了全球使用广泛的主要语言，还兼顾了斯瓦希里语等特定区域语言，展现了语言多样性。数据集规模介于一千到一万条样本之间，属于中等体量，专为文本生成任务设计，尤其侧重于数学语境下的问题理解与解答。这种设计使得该数据集成为检验模型在复杂、多语言数学推理场景下性能的精准试金石。

使用方法

对于研究者而言，该数据集的使用方法清晰而高效。用户可根据目标语言选择对应的配置文件（如`zh`代表中文），直接加载指定的JSON测试文件。数据集已预设为测试分割，便于直接用于模型评估与基准测试。在文本生成任务框架下，开发者可以将其作为输入，评估模型生成多语言数学问题答案的准确性与逻辑一致性，从而推动多语言数学推理模型的迭代与优化。

背景与挑战

背景概述

在自然语言处理领域，多语言数学推理能力的评估是推动通用人工智能发展的关键环节。Mathoctopus/MSVAMP数据集由Mathoctopus团队创建，旨在系统评估大型语言模型在跨语言环境下的数学问题求解能力。该数据集覆盖了包括孟加拉语、中文、英语、法语、德语、日语、俄语、西班牙语、斯瓦希里语和泰语在内的十种语言，核心研究问题聚焦于模型在多样语言和文化背景中处理数学文本的泛化性与鲁棒性。其构建反映了当前研究对语言多样性及复杂推理任务融合的重视，为多语言数学推理模型的公平比较提供了标准化基准，显著促进了该子领域的国际化进展。

当前挑战

该数据集致力于应对多语言数学问题求解的挑战，其核心在于模型需跨越语言障碍准确解析数学语义，并在不同语言间保持一致的推理性能。构建过程中的主要困难涉及高质量多语言数学文本的收集与对齐，确保各语言版本在问题难度、表述风格及文化背景上的可比性，同时避免翻译引入的语义偏差或数学符号歧义。此外，数据规模相对有限，覆盖语言虽广但每种语言的样本量仍显不足，可能影响模型评估的统计可靠性，这对数据集的扩展与优化提出了持续要求。

常用场景

经典使用场景

在自然语言处理领域，多语言数学推理能力的评估已成为推动模型泛化性能的关键环节。Mathoctopus/MSVAMP数据集以其涵盖十种语言的多样化数学问题，为研究者提供了一个标准化的测试平台。该数据集经典地用于评估大型语言模型在跨语言环境下的数学问题解决能力，特别是在处理涉及多步骤推理和数值计算的文本生成任务时，能够系统检验模型对语言差异和数学逻辑的融合理解。

解决学术问题

该数据集有效应对了当前多语言自然语言处理研究中，数学推理任务缺乏跨语言统一评估基准的学术挑战。通过提供结构化的多语言数学问题集合，它使得研究者能够量化分析模型在不同语言间的性能差异，从而揭示语言特定特征对数学推理过程的影响。这一工作促进了跨语言迁移学习、低资源语言数学能力增强等核心问题的探索，为构建更公平、全面的模型评估体系奠定了数据基础。

衍生相关工作

围绕Mathoctopus/MSVAMP数据集，已衍生出一系列聚焦多语言数学推理的前沿研究。这些工作包括设计针对低资源语言的数学问题增强方法、开发跨语言数学知识迁移框架，以及构建融合符号计算与神经网络的混合模型。部分研究进一步利用该数据集探索了语言模型在数学推理中的幻觉现象缓解策略，推动了多语言推理评估标准与模型架构的协同进化。