tabular-reasoning
收藏资源简介：
Tabular Reasoning Test数据集是一个用于评估大型语言模型在表格数据上推理能力和鲁棒性的测试集。它包括不同规模和扰动下的多个子集，支持多种查询类型，如查找、计数、求和、平均值、减法和相关性计算。数据集以JSONL格式存储，每个记录包含一个唯一的标识符、上下文大小、扰动类型、查询类型、自然语言问题、表格数据和正确答案。
The Tabular Reasoning Test dataset is a test set for evaluating the reasoning ability and robustness of large language models on tabular data. It comprises multiple subsets under different scales and perturbations, supporting multiple query types including lookup, counting, summation, averaging, subtraction, and correlation calculation. The dataset is stored in JSONL format, with each record containing a unique identifier, context size, perturbation type, query type, natural language question, tabular data, and the correct answer.
Tabular Reasoning Test Dataset 概述
基本信息
- 数据集名称: Tabular Reasoning Test Dataset
- 许可证: MIT
- 语言: 英语
- 标签: 表格、推理、测试
- 数据格式: JSONL
数据集规模
- 测试集样本数量: 7631
- 下载大小: 6629558字节
- 数据集大小: 40712710字节
数据特征
| 字段名 | 数据类型 | 描述 |
|---|---|---|
| id | int64 | 唯一问题标识符 |
| scale | string | 上下文大小（如"1k"、"2k"…"8k"） |
| perturbation | string | 扰动类型：未扰动、缺失值、重复实体、结构变异 |
| qtype | string | 查询类型：查找、计数、平均值、求和、减法、相关性 |
| question | string | 基于表格数据的自然语言问题 |
| tables | string | 包含一个或多个表格的JSON字符串（CSV格式内容） |
| correct answer | string | 用于评估的正确答案 |
数据集变体
- 未扰动: 基准的干净基础版本
- 缺失值: 模拟现实世界中的缺失条目
- 结构变异: 测试关系不变性的列或行顺序洗牌
任务类型
- 查找: 直接检索实体或值
- 计数: 统计匹配条件的实体数量
- 求和: 计算数值总和
- 平均值: 计算过滤子集的平均值
- 减法: 跨列执行算术运算
- 相关性: 计算统计相关性
评估方法
使用LLM作为评判者进行评估，替代BLEU或BERTScore等脆弱或有偏见的指标。
引用信息
bibtex @inproceedings{wolff2025well, title={How well do LLMs reason over tabular data, really?}, author={Wolff, Cornelius and Hulsebos, Madelon}, booktitle={The 4th Table Representation Learning Workshop at ACL 2025} }
相关资源
- 论文: https://arxiv.org/abs/2505.07453v3
- 代码库: https://github.com/trl-lab/tabular-robustness
