TANQ

TANQ是首个开放领域问答数据集，要求从多个信息源构建表格作为答案。该数据集由Google DeepMind创建，包含1395个实例，旨在解决复杂的多步骤信息检索和数据聚合问题。TANQ通过自动化数据收集过程创建，使用QAMPARI作为种子数据集，并从Wikidata和Wikipedia中提取数据。数据集的应用领域包括金融、科学和经济等，旨在帮助模型理解和回答现实世界中的复杂问题。

TANQ is the first open-domain question answering dataset that mandates constructing tables as answers from multiple information sources. Developed by Google DeepMind, this dataset comprises 1,395 instances and is designed to tackle complex multi-step information retrieval and data aggregation challenges. TANQ was built via an automated data collection pipeline, leveraging QAMPARI as its seed dataset and extracting data from Wikidata and Wikipedia. Its applicable domains cover finance, science, economics and other fields, with the objective of enabling models to comprehend and answer complex real-world questions.

搜集汇总

数据集介绍

构建方式

TANQ数据集的构建方式是通过自动化数据收集流程，利用QAMPARI作为种子数据集，以及Wikidata和Wikipedia语料库作为数据来源。该数据集的构建流程包括五个步骤：1.扩展QAMPARI问题；2.从Wikipedia中提取证据；3.证据评估和答案表格生成；4.问题改写；5.增加技能。通过这种方式，TANQ数据集涵盖了开放式、多跳问答（QA）的各种问题和技能，并提供了丰富的证据支持。

特点

TANQ数据集的特点在于它是一个开放式、多跳问答数据集，要求从多个信息源构建表格来回答问题。它包含了不同类型的问题，如简单、组合和交集问题，以及需要不同技能来回答的问题，如数字过滤、时间过滤、实体过滤、日期到年份转换、数量转换、时间计算和近似。此外，TANQ数据集还提供了每个答案表格单元格的完整来源归属，并支持开放、预言和封闭书评价设置。

使用方法

TANQ数据集的使用方法包括以下步骤：1.选择合适的问题类型和技能；2.使用PaLM-2模型进行证据评估和答案表格生成；3.根据需要改写问题；4.使用外部工具进行搜索和计算（开放书设置）；5.使用RMS指标评估答案表格的质量。TANQ数据集可以用于评估和改进大型语言模型在开放式、多跳问答任务上的性能，并促进复杂信息检索和信息聚合的研究。

背景与挑战

背景概述

TANQ 数据集的研究背景主要围绕开放域问答（QA）系统在现实世界场景中的应用。传统的 QA 系统通常只能根据单个数据源（例如单个表格或文本文档）进行推理，并生成简短的文本序列作为答案。然而，现实世界中的信息往往分散在多个文档和不同的形式（例如文本或表格）中。为了解决这个问题，TANQ 数据集应运而生。TANQ 是第一个开放域问答基准，它要求从多个信息源构建表格形式的答案。TANQ 的创建时间为 2024 年 5 月，主要研究人员来自伦敦国王学院和谷歌 DeepMind。TANQ 的核心研究问题是：如何让语言模型在理解并回答现实世界场景中的问题时，能够从多个数据源（例如文本、表格和信息框）中检索和聚合信息，并以表格的形式呈现答案。TANQ 数据集对相关领域的影响力主要体现在以下几个方面：（1）推动了开放域问答系统在现实世界场景中的应用；（2）为评估和改进语言模型的推理能力提供了新的基准；（3）促进了多跳推理、数学运算和单位转换等技能的发展。

当前挑战

TANQ 数据集的挑战主要体现在以下几个方面：（1）构建过程中所遇到的挑战：TANQ 数据集的构建过程涉及多个步骤，包括扩展 QAMPARI 问题、从维基百科中提取证据、评估证据并生成答案表格、重新表述问题和增强技能等。每个步骤都需要精确的算法和模型支持。（2）所解决的领域问题的挑战：TANQ 数据集要求语言模型能够从多个数据源中检索和聚合信息，并以表格的形式呈现答案。这需要模型具备多跳推理、数学运算和单位转换等技能，而这些技能是当前语言模型所缺乏的。（3）模型生成的答案表格的挑战：模型生成的答案表格可能存在以下问题：缺少关系、缺少表头、过滤条件未正确应用、出现幻觉关系、出现其他类型的幻觉、缺少实体、输出不是表格格式、部分答案、单元格中的答案错误等。

常用场景

经典使用场景

TANQ数据集作为首个开放领域问答基准，其独特之处在于要求从多个信息源构建表格形式的答案。在现实世界场景中，理解并解决问题往往需要跨多个文档和数据模式进行推理，包括从不同来源检索信息、处理和汇总数据以提取见解，并以表格、图表或信息图等结构化形式呈现复杂发现。TANQ数据集正是为了评估大型语言模型在处理此类复杂多步骤推理任务方面的能力而设计的。模型需要具备数据检索以外的多种技能，如过滤、数学运算和单位转换等。TANQ数据集通过自动化数据收集流程，使用QAMPARI作为种子数据集，并结合Wikidata和Wikipedia语料库作为数据来源，为模型提供了丰富的训练和测试资源。

衍生相关工作

TANQ数据集的提出和研究成果对相关领域产生了深远的影响，并衍生了众多相关工作。例如，基于TANQ数据集，研究人员进一步开发了针对特定领域或任务的问答数据集，如金融领域问答数据集FinQA和TATQA。此外，TANQ数据集还促进了多模态问答技术的发展，例如MultiTabQA和HybridQA等。这些相关工作进一步推动了问答系统的性能和应用范围，并为未来研究提供了新的方向和思路。

数据集最近研究

最新研究方向

TANQ 数据集作为首个开放领域的问题回答数据集，其独特之处在于要求从多个信息源构建表格作为答案。这一研究方向标志着自然语言处理领域在问题回答任务上的新突破，旨在模拟现实世界中知识工作者在解决问题时需要从不同文件中检索信息、处理数据并将其转化为洞察力的过程。TANQ 数据集的引入，不仅要求模型具备数据检索能力，还需要具备过滤、数学运算和单位转换等多种技能。此外，TANQ 数据集的构建过程也展现了自动化数据收集和处理的潜力，为未来大型语言模型的工具和评估设置提供了新的思路。

相关研究论文

• TANQ: An open domain dataset of table answered questions

  伦敦国王学院，英国 · 2024年