zzh12138/CRT-QA

CRT-QA数据集包含需要复杂推理的表格数据问答对。数据以JSON格式存储，每个数据点包含问题名称、表格标题、推理步骤、答案等字段。推理步骤涉及多种操作和推理类型，如索引、过滤、分组、排序、基础推理、自动分类、时间推理、地理/空间推理、聚合、算术、量词推理和其他常识推理。数据集还包含问题的直接性、子问题的组合类型和人类推理路径的细粒度注释，可用于深入探讨大语言模型的推理能力。此外，数据集还包含一些无法回答和不确定的问题，这些在现实世界中常见。

原始信息汇总

数据集概述

标题: CRT-QA: A Dataset of Complex Reasoning Question Answering over Tabular Data
会议: EMNLP 2023
作者: Zhehao Zhang, Xitao Li, Yan Gao, Jian-Guang Lou
隶属机构: Dartmouth College, Xian Jiaotong University, Microsoft Research Asia
许可证: apache-2.0
任务类别: table-question-answering
语言: en
数据集大小: n<1K

数据格式

数据存储于json文件中，每个数据点（以.csv文件表为键）包含以下字段：

Question name, Title, step1, step2, step3, step4, Answer, Directness, Composition Type

• Question name: 问题的文本
• Title: 问题所指表格的标题
• step1 至 step4: 描述回答问题所需的推理过程和操作步骤
  • type: Operation 或 Reasoning
  • name: 特定操作或推理类型的名称
  • detail: 步骤的额外细节
• Answer: 答案文本
• Directness: Explicit 或 Implicit 问题
• Composition Type: Bridging, Intersection, 或 Comparison

推理与操作

step 字段中引用的推理和操作来自定义的分类法：

操作:

• Indexing
• Filtering
• Grouping
• Sorting

推理:

• Grounding
• Auto-categorization
• Temporal Reasoning
• Geographical/Spatial Reasoning
• Aggregating
• Arithmetic
• Reasoning with Quantifiers
• Other Commonsense Reasoning

联系方式

联系邮箱: [e-mail]

搜集汇总

数据集介绍

构建方式

在表格数据推理领域，CRT-QA数据集的构建体现了严谨的学术设计。研究团队首先建立了一套涵盖操作与推理类型的综合分类体系，包括索引、过滤、分组、排序等操作，以及基于常识、时空、量化等多种推理模式。基于此分类，数据集通过人工标注方式生成了包含多步操作与非正式推理的问答对，每个数据点均详细记录了问题文本、关联表格标题、分步推理过程、答案及问题属性，确保了数据在复杂推理场景下的代表性与解释性。

特点

该数据集在表格问答领域展现出鲜明的特色。其核心在于首次整合了多步操作与非正式推理，为评估模型在结构化数据上的深层推理能力提供了基准。数据集不仅标注了问题的直接性与组合类型，还提供了细致的人类推理路径，支持对语言模型推理机制的深入剖析。此外，数据集中特意纳入了现实场景中常见的不可回答与不确定性问题，增强了数据集的实用性与挑战性，使其成为推动表格推理研究的重要资源。

使用方法

使用CRT-QA数据集时，研究者可将其应用于表格问答模型的训练与评估。数据以JSON格式存储，每个条目包含问题、表格标题、推理步骤、答案及元数据字段，便于直接加载与分析。用户可依据标注的推理步骤与操作类型，设计或优化模型的多步推理流程。同时，数据集支持对模型在直接与隐含问题、组合子问题及不确定场景下的表现进行细粒度评测。为提升研究效率，可结合论文提出的ARC等工具增强方法，利用外部代码工具执行表格操作，无需依赖人工示例即可完成复杂推理任务。

背景与挑战

背景概述

在自然语言处理领域，表格数据的复杂推理问答一直是极具挑战性的研究方向。2023年，由达特茅斯学院、西安交通大学及微软亚洲研究院的研究团队联合构建的CRT-QA数据集应运而生，并在EMNLP会议上正式发布。该数据集旨在系统评估大型语言模型在结构化表格数据上的多步操作与非正式推理能力，填补了现有表格问答数据集中缺乏复杂推理路径标注的空白。通过精细标注问题直接性、子问题组合类型及人类推理步骤，CRT-QA为深入探究模型在索引、过滤、时空推理等多样化操作上的表现提供了重要基准，推动了表格推理任务向更贴近现实场景的复杂化方向发展。

当前挑战

CRT-QA数据集所针对的核心挑战在于如何实现表格数据上的复杂多步推理问答，这要求模型不仅能理解自然语言问题与表格结构的语义关联，还需灵活执行排序、分组等操作，并融合常识与时空推理。在构建过程中，研究团队面临标注一致性与逻辑完整性的双重困难：一方面需确保多步推理路径中操作与推理类型的分类准确性；另一方面需处理真实场景中常见的不可回答与不确定性问题，以增强数据集的现实代表性。此外，如何设计既能涵盖丰富推理类型，又保持数据规模与质量平衡的标注体系，亦是数据集构建中的关键难点。

常用场景

经典使用场景

在表格数据问答领域，CRT-QA数据集为评估大型语言模型在结构化数据上的复杂推理能力提供了基准。该数据集通过多步骤操作与非正式推理的结合，模拟了真实场景中用户对表格数据的深度查询需求，例如从销售报表中推导趋势或从地理数据中提取空间关系。研究者利用其精细标注的推理路径，能够系统分析模型在索引、过滤、分组等操作上的表现，从而推动表格理解技术的边界。

实际应用

在实际应用中，CRT-QA数据集支撑了智能数据分析系统的开发，例如商业智能工具中的自然语言查询接口。用户可通过口语化提问直接获取表格中的深层洞察，如财务报告中的异常检测或供应链数据的时空分析。该数据集涵盖的不可回答与不确定性问题，进一步增强了系统在真实企业环境中的实用性，帮助自动化处理复杂的数据解读任务，提升决策效率。

衍生相关工作

围绕CRT-QA数据集，衍生出多项经典研究工作，其中以ARC方法为代表，通过代码工具与自动示例引导的推理机制，显著提升了表格问答的准确性。后续研究扩展了其在多模态表格理解、低资源场景下的适配，以及推理路径的可解释性分析。这些工作共同推动了表格推理向更高效、更透明的方向发展，为结构化数据与自然语言处理的交叉领域奠定了理论基础。