SOMADHAN

SOMADHAN是一个包含8792个复杂的孟加拉语数学应用题的数据集，每个问题都附有手动编写的逐步解决方案。该数据集旨在支持推理导向的评估和模型开发，特别是在语言资源匮乏的背景下。SOMADHAN的创建填补了孟加拉语自然语言处理中数学推理数据集的空白，为低资源语言的教育和语言技术领域提供了重要的推理能力数据集。该数据集为解决复杂的数学应用题提供了高质量的资源，并促进了低资源语言中推理能力的研究。

SOMADHAN is a dataset containing 8,792 complex Bengali mathematical word problems, each paired with manually written step-by-step solutions. This dataset is designed to support reasoning-oriented evaluation and model development, particularly in low-resource language contexts. The creation of SOMADHAN fills the gap in mathematical reasoning datasets for Bengali natural language processing, providing a critical dataset for reasoning capabilities in the fields of education and language technology for low-resource languages. This dataset offers high-quality resources for solving complex mathematical word problems and facilitates research on reasoning capabilities in low-resource languages.

原始信息汇总

数据集概述

基本信息

• 标题: Leveraging Large Language Models for Bengali Math Word Problem Solving with Chain of Thought Reasoning
• 作者: Bidyarthi Paul, Jalisha Jashim Era, Mirazur Rahman Zim, Tahmid Sattar Aothoi, Faisal Muhammad Shah
• 提交日期: 2025年5月27日
• arXiv标识符: arXiv:2505.21354v1
• DOI: 10.48550/arXiv.2505.21354
• 领域: 计算机科学 > 计算与语言 (cs.CL); 机器学习 (cs.LG)

数据集描述

• 数据集名称: SOMADHAN
• 内容: 包含8792个复杂的孟加拉数学应用题 (MWPs)，并附带人工编写的逐步解决方案。
• 目的: 支持在低资源语言环境下进行推理评估和模型开发。
• 特点:
  • 首个针对孟加拉数学应用题的人类标注数据集。
  • 支持多步推理任务。

实验与结果

• 评估模型: GPT-4o, GPT-3.5 Turbo, LLaMA系列模型, Deepseek, Qwen
• 评估方法: 零样本和少样本提示，带或不带思维链 (CoT) 推理。
• 主要发现:
  • CoT提示显著提升性能，尤其在需要多步逻辑的任务中。
  • LLaMA-3.3 70B在少样本CoT提示下达到最高准确率88%。
  • 使用低秩适应 (LoRA) 进行高效微调，适应孟加拉数学应用题。

贡献与意义

• 填补空白: 提供高质量推理数据集，推动孟加拉自然语言处理研究。
• 技术贡献: 提供可扩展框架，解决复杂数学应用题。
• 目标: 促进低资源语言的公平研究，提升教育和语言技术中的推理能力。

相关链接

• PDF: View PDF
• HTML: View HTML
• TeX Source: View TeX Source

搜集汇总

数据集介绍

构建方式

SOMADHAN数据集的构建基于GSM8K（Grade School Math）数据集，通过专业翻译人员将英语数学问题手动翻译为孟加拉语，并确保保留原始问题的数学逻辑和上下文意义。在翻译过程中，遵循了严格的指南，包括货币符号、数字和名称的文化适应性替换，以确保数据集的语言质量和文化相关性。数据集包含8,792个复杂的孟加拉语数学应用题，每个问题都配有逐步的手动解答。

特点

SOMADHAN数据集的特点在于其专注于复杂的孟加拉语数学应用题，每个问题都配有详细的逐步解答，支持多步推理。数据集的设计填补了孟加拉语数学推理数据资源的空白，为低资源语言的自然语言处理研究提供了高质量的数据支持。此外，数据集的构建注重语言和文化的适应性，确保了问题的自然性和实用性。

使用方法

SOMADHAN数据集的使用方法包括通过零样本和少样本提示技术评估大型语言模型（LLMs）在解决复杂数学应用题中的表现。数据集支持链式思维（Chain of Thought, CoT）推理，鼓励模型生成逐步解答以提高准确性。此外，数据集还可用于参数高效的微调方法，如低秩适应（LoRA），以优化模型性能。用户可以通过公开的数据集链接获取数据，用于研究和学术目的。

背景与挑战

背景概述

SOMADHAN数据集由Ahsanullah科技大学的Bidyarthi Paul等研究人员于2025年创建，旨在解决孟加拉语数学应用题（MWPs）求解这一自然语言处理领域的核心挑战。作为首个包含人工标注逐步推理过程的孟加拉语MWPs数据集，SOMADHAN填补了低资源语言在数学推理任务中的研究空白。该数据集包含8,792道复杂数学应用题，每道题目均配有详细的手写解题步骤，支持基于思维链（Chain of Thought）的推理评估。其构建受到GSM8K数据集的启发，通过专业翻译团队进行英译孟加拉语转换，并严格保持数学逻辑和语境完整性。SOMADHAN的发布显著推动了孟加拉语教育技术和大语言模型数学推理能力的发展。

当前挑战

SOMADHAN数据集面临双重挑战：在领域问题层面，孟加拉语作为低资源语言存在方言变体多、标准化程度低等特性，传统模型难以处理其复杂的多步数学推理；在构建过程中，专业术语的语境保持、数量单位的文化适配（如美元符号转换为孟加拉塔卡符号）、以及人工翻译中数学逻辑一致性的维护都构成技术难点。此外，数据集的构建还面临标注成本高、推理步骤标准化等挑战，特别是需要确保8,792道题目的解题步骤既符合数学严谨性又保留自然语言表达特征。这些挑战使得该数据集成为测试大语言模型跨语言数学推理能力的标杆性资源。

常用场景

经典使用场景

SOMADHAN数据集专为孟加拉语数学应用题（MWPs）设计，尤其适用于需要多步推理的复杂问题。该数据集通过提供详细的逐步解决方案，支持研究人员评估和开发针对低资源语言的推理能力模型。其经典使用场景包括自然语言处理（NLP）中的数学问题求解、教育技术中的自动解题系统，以及多语言模型的推理能力测试。

实际应用

在实际应用中，SOMADHAN数据集可用于开发智能教育工具，如自动解题系统和个性化学习平台，帮助孟加拉语学生提高数学能力。此外，该数据集还可用于优化虚拟助手和搜索引擎的问答功能，使其能够更准确地理解和解决复杂的数学问题。这些应用场景展示了数据集在教育和语言技术领域的广泛潜力。

衍生相关工作

SOMADHAN数据集衍生了多项经典工作，包括基于Chain-of-Thought（CoT）提示的大型语言模型（如GPT-4o、LLaMA-3.3）的优化研究。这些工作通过引入低秩适应（LoRA）等高效微调技术，进一步提升了模型在孟加拉语数学问题上的性能。此外，数据集还激发了多语言推理能力评估的新方法，为低资源语言的NLP研究开辟了新的方向。