SLQA和SEQA

本文介绍了两个大规模自由表格数据集SLQA和SEQA，由墨尔本大学计算与信息系统学院的研究人员创建。这两个数据集专门针对大规模自由表格，包含超过4096个token的表格，通过语言模型生成问题答案对。数据集的构建旨在提升大型表格问题回答模型的能力，尤其是在处理含有大量噪声数据的自由表格方面。

This paper presents two large-scale free-form table datasets, SLQA and SEQA, developed by researchers from the School of Computing and Information Systems at the University of Melbourne. These datasets are specifically tailored for large-scale free-form tables, each containing over 4096 tokens, and their question-answer pairs are generated via language models. The datasets are constructed to enhance the capabilities of table question answering models, particularly when handling free-form tables with large amounts of noisy data.

搜集汇总

数据集介绍

构建方式

SLQA和SEQA数据集的构建采用了LLM辅助的方法。SLQA数据集直接从Spider数据集中提取所有大型表格（每个表格超过4096个token），并使用LLM生成问题-答案对。SEQA数据集则从Spider数据集中随机选择小型表格，通过数据合成将其扩展为大型表格，并使用LLM生成相应的问题-答案对。此外，还从WikiTableQuestions数据集和HybridQA数据集中提取大型表格以补充基准数据集。

使用方法

SLQA和SEQA数据集的使用方法相对简单。研究人员可以使用这些数据集来训练和评估LLM在处理大型和嘈杂的自由表格方面的能力。此外，这些数据集还可以用于开发新的TableQA模型和算法。为了方便研究人员使用，数据集的代码和结果将公开发布。

背景与挑战

背景概述

在数据管理与分析的大规模数据中，表格扮演着至关重要的角色。表格理解任务的研究，如表格问答（TableQA），一直是计算机科学中的一个挑战性领域。传统的表格问答方法往往依赖于预定义的表格结构，而现实世界中的表格，特别是网络表格，往往缺乏这种预定义的结构，导致传统的基于结构查询的方法难以应用。为了应对这一挑战，Yuxiang Wang等人提出了TABSD模型，这是一个基于SQL分解的模型，旨在提高大型自由表格的处理能力。他们引入了两个大型自由表格问答数据集SLQA和SEQA，这些数据集由超过4096个token的大型自由表格组成，旨在为研究提供更接近现实世界的应用场景。这些数据集的创建不仅填补了现有数据集在处理大型自由表格方面的空白，而且也为LLM在表格问答任务中的应用提供了新的可能性。

当前挑战

尽管LLM在表格问答任务中展现出强大的能力，但在处理大型自由表格和噪声敏感数据时，它们仍然面临着挑战。首先，现有的表格问答数据集往往无法充分反映现实世界中的应用场景，如金融、医疗和科学研究等领域，在这些领域大型自由表格普遍存在。其次，LLM在处理大型自由表格时，其准确性显著提高，但LLM对于噪声数据仍然高度敏感。此外，现有的表格问答方法往往忽略了表格的结构，导致信息损失。为了解决这些挑战，Wang等人提出了TABSD模型，该模型通过SQL生成和表格分解来提高LLM在处理大型自由表格时的准确性。此外，他们还引入了SQL验证器来进一步优化SQL查询，从而提高表格分解的准确性。

常用场景

经典使用场景

在信息提取、数据分析、知识图谱构建等众多领域，SLQA和SEQA数据集被广泛应用于大型自由表格问答任务中。这两个数据集包含了大量的自由表格，为研究自由表格问答模型提供了丰富的训练和测试数据。在模型训练阶段，研究者可以利用SLQA和SEQA数据集生成大量的问答对，用于训练模型的语言理解和推理能力。在模型评估阶段，研究者可以在这两个数据集上测试模型的问答准确率，从而评估模型在实际应用场景中的表现。

解决学术问题

SLQA和SEQA数据集解决了自由表格问答任务中存在的几个关键问题。首先，现有的自由表格问答模型在处理大型自由表格时性能不佳，而SLQA和SEQA数据集包含了大量的自由表格，有助于研究者提升模型在处理大型表格时的性能。其次，现有的自由表格问答模型对表格中的噪声数据敏感，而SLQA和SEQA数据集包含了大量的噪声数据，有助于研究者提升模型在处理噪声数据时的鲁棒性。此外，现有的自由表格问答数据集不能充分反映真实世界的应用场景，而SLQA和SEQA数据集包含了大量的真实世界数据，有助于研究者提升模型在实际应用场景中的表现。

实际应用

SLQA和SEQA数据集在实际应用场景中具有广泛的应用价值。例如，在金融领域，研究者可以利用SLQA和SEQA数据集训练模型，用于自动提取财务报表中的关键信息，从而提高财务分析的效率。在医疗领域，研究者可以利用SLQA和SEQA数据集训练模型，用于自动提取医疗记录中的关键信息，从而提高医疗诊断的准确性。在科学研究领域，研究者可以利用SLQA和SEQA数据集训练模型，用于自动提取实验数据中的关键信息，从而提高科学研究的效率。

数据集最近研究

最新研究方向

SLQA和SEQA数据集的提出，标志着表格问答（TableQA）领域在处理大型自由表格数据方面取得了重要进展。这些数据集由大型自由表格组成，旨在克服现有数据集在真实世界应用场景中的不足，例如金融、医疗和科学研究等领域。在研究前沿，SLQA和SEQA数据集的构建采用了基于语言模型的生成方法，并通过数据合成技术扩展小型表格，以适应大型自由表格的需求。此外，本研究提出了TABSD模型，该模型通过生成SQL查询来指导表格分解、去除噪声，并处理子表格以生成更准确的答案。实验结果表明，TABSD在处理大型和噪声敏感的自由表格方面具有显著优势，为表格问答领域带来了新的研究方向。

相关研究论文

• TabSD: Large Free-Form Table Question Answering with SQL-Based Table Decomposition

  墨尔本大学计算与信息系统学院 · 2025年