TabMWP-TeLL

TabMWP-TeLL数据集是由西安交通利物浦大学和利物浦大学的研究团队基于TabMWP数据集扩展创建的高质量表格数学应用题数据集。该数据集包含38,431条问题，涵盖多种表格背景和数学逻辑，旨在通过模板驱动和LLM重述的方法生成多样化和正确性高的数学应用题。数据集的创建过程包括从现有样本中提取模板、使用LLM扩展和重述问题，并添加详细的推理步骤。该数据集主要应用于评估和提升大语言模型在数学推理任务中的表现，特别是在解决复杂表格数学应用题方面。The TabMWP-TeLL dataset is a high-quality tabular math word problem dataset extended from the original TabMWP dataset, developed by a research team from Xi'an Jiaotong-Liverpool University and the University of Liverpool. This dataset contains 38,431 problem entries, covering diverse tabular backgrounds and mathematical logics, and is designed to generate diverse and highly accurate math word problems through template-driven and LLM-based paraphrasing approaches. The dataset creation workflow includes extracting templates from existing samples, expanding and paraphrasing problems using LLMs, and adding detailed reasoning steps. This dataset is primarily used to evaluate and enhance the performance of large language models (LLMs) in mathematical reasoning tasks, particularly in solving complex tabular math word problems.

搜集汇总

数据集介绍

构建方式

TabMWP-TeLL数据集的构建基于模板驱动的LLM（大语言模型）改写框架，旨在生成高质量的表格数学应用题（TMWPs）。首先，从现有真实样本中提取模板，确保初始问题的正确性。随后，利用LLM扩展模板并改写问题，生成多样化的问题样本。此外，为了增强模型的推理能力，每个解决方案都附带了详细的推理步骤。通过这一框架，TabMWP-TeLL数据集得以构建，涵盖了TabMWP数据集中多种问题类型，确保了数据集的高质量和多样性。

特点

TabMWP-TeLL数据集的主要特点在于其高正确性和多样性。通过模板和LLM的结合，生成的样本不仅在数学逻辑上保持正确，还在背景描述和语言表达上具有多样性。此外，数据集中的每个解决方案都包含了详细的推理步骤，这有助于模型进行多步推理，提升其解决复杂问题的能力。与传统方法相比，TabMWP-TeLL在生成样本的正确性和多样性上均有显著提升。

使用方法

TabMWP-TeLL数据集可用于大语言模型的微调，以提升其在表格数学应用题上的解决能力。用户可以通过该数据集对模型进行训练，使其在处理复杂数学问题时表现更为出色。此外，数据集中的详细推理步骤也为模型提供了多步推理的监督信号，有助于模型在解决复杂问题时展现出更强的推理能力。实验表明，使用TabMWP-TeLL数据集进行训练的模型在解决复杂问题时表现尤为突出，同时也能保持对简单问题的良好处理能力。

背景与挑战

背景概述

随着大规模语言模型（LLMs）在多种推理任务中的成功应用，解决数学应用题（MWPs）仍然是一个具有挑战性的任务。特别是表格数学应用题（TMWPs），其要求模型基于异构的表格和文本数据进行数学推理。由于高质量的TMWP数据集的收集和标注成本高昂且耗时，现有的公开数据集稀缺。为了缓解这一问题，研究者们提出了自动生成TMWP样本的方法。TabMWP-TeLL数据集由西安交通利物浦大学、利物浦大学和昆山杜克大学的研究人员共同创建，旨在通过模板驱动的LLM改写框架生成高质量、多样化的TMWP样本，确保生成样本的正确性和多样性，并提供详细的推理步骤，从而提升LLMs在TMWP解决任务中的表现。

当前挑战

TabMWP-TeLL数据集的构建面临三大挑战：首先，生成方法的正确性问题，尤其是基于改写和LLM生成的方法，容易因幻觉问题导致误解题目含义，从而产生错误答案；其次，生成问题的多样性不足，模板生成方法虽然保证了正确性，但生成的样本背景和语言描述单调，缺乏多样性；最后，解决方案缺乏详细的推理步骤，现有的生成方法往往只提供最终答案，缺乏中间推理过程，这限制了模型在复杂问题上的表现。TabMWP-TeLL通过结合模板和LLM的优势，解决了这些问题，确保生成样本的正确性和多样性，并提供了详细的推理步骤，从而提升了LLMs在TMWP解决任务中的表现。

常用场景

经典使用场景

TabMWP-TeLL数据集的经典应用场景主要集中在数学推理任务中，特别是在解决表格数学应用题（TMWPs）方面。该数据集通过提供多样化的表格和问题模板，帮助大型语言模型（LLMs）进行微调，以提升其在处理复杂数学推理任务中的表现。通过结合模板驱动和LLM重述的方法，TabMWP-TeLL不仅确保了生成问题的正确性，还增强了问题的多样性，从而为模型提供了更丰富的训练数据。

衍生相关工作

TabMWP-TeLL数据集的提出催生了一系列相关研究工作。首先，基于该数据集的生成框架，研究者们进一步探索了如何通过模板和LLM的结合生成更复杂的数学问题。其次，该数据集的详细推理步骤标注方法启发了其他研究者在其他领域（如常识推理和多跳推理）中应用类似的多步推理策略。此外，TabMWP-TeLL的成功也推动了更多关于如何通过高质量数据增强模型推理能力的研究，特别是在教育领域的应用。

数据集最近研究

最新研究方向

近年来，TabMWP-TeLL数据集在表格数学应用题生成领域引起了广泛关注。该数据集通过提出一种模板驱动的LLM重述框架（TeLL），旨在生成高质量且多样化的表格数学应用题。该框架结合了模板生成与大语言模型（LLM）的优势，确保生成样本的正确性与多样性。研究者通过从现有数据集中提取模板并利用LLM进行扩展和重述，生成了具有丰富背景和准确解答的数学应用题。此外，该研究还强调了推理步骤注释的重要性，通过提供详细的推理步骤，增强了LLM的多步推理能力。TabMWP-TeLL数据集的构建不仅提升了LLM在解决复杂数学应用题中的表现，还为未来的数学推理任务提供了新的研究方向。

相关研究论文

• Template-Driven LLM-Paraphrased Framework for Tabular Math Word Problem Generation

  西安交通利物浦大学, 利物浦大学, 杜克昆山大学 · 2024年