dnaihao/table-sft-eval-predictions

该数据集包含了论文《What Really Matters for Table LLMs? A Meta-Evaluation of Model and Data Effects》（EACL 2026）中实验的原始模型输出。数据涵盖17个模型在8到25个基准测试（如WikiTableQuestions、FeTaQA、TabFact等）上的预测结果，总计约310个JSONL文件，大小约1.8 GB。每个文件中的每一行都是一个JSON对象，包含三个字符串字段：prompt（完整的输入提示，包括指令、序列化表格和问题）、label（该示例的黄金或参考答案）和predict（模型生成的输出）。数据集旨在支持表格理解、指令微调和预测分析任务，可用于评估表格LLM的性能。This dataset contains the raw model outputs from the experiments in the paper What Really Matters for Table LLMs? A Meta-Evaluation of Model and Data Effects (EACL 2026). It includes predictions from 17 models across 8-25 benchmarks (e.g., WikiTableQuestions, FeTaQA, TabFact), totaling approximately 310 JSONL files (~1.8 GB). Each line in every file is a JSON object with three string fields: prompt (full input prompt including instruction, serialized table, and question), label (gold/reference answer for that example), and predict (the models generated output). The dataset is designed for table understanding, instruction-tuning, and prediction tasks, facilitating evaluation of table LLMs.

搜集汇总

数据集介绍

构建方式

该数据集源自EACL 2026研究论文《What Really Matters for Table LLMs?》，旨在复现并拓展表格大语言模型的评估实验。构建方式上，研究者选取17种基础模型，分别在多个表格指令微调数据集上训练，随后在8至25个涵盖表格理解、推理与问答的基准测试上进行推理。每个模型-数据组合的原始生成结果以JSONL格式存储，目录结构遵循{基础模型}-{训练数据集}/{基准测试}/generated_predictions.jsonl的层级，共计约310个文件，总规模约1.8GB，完整记录了不同配置下模型的输出行为。

特点

本数据集的核心特点在于其系统性与透明性。每一条记录包含完整的输入提示（指令、序列化表格与问题）、标准参考答案以及模型生成的输出，三者均为纯文本形式，便于直接解析与比较。数据覆盖广泛，融合了WikiTableQuestions、FeTaQA、TabFact、ToTTo、HiTab、TabMWP、TAT-QA、InfoTabs等经典表格基准，以及MMLU、GPQA、AI2-ARC等通用推理基准，确保了评估维度的多元性。此外，数据集采用MIT许可发布，但提示与标签部分继承各自源基准的许可条款，使用者需注意合规性。

使用方法

使用方式极为便捷，支持通过HuggingFace Datasets库直接加载。用户可指定特定模型-基准组合的JSONL文件路径进行加载，或使用通配符批量获取某模型在所有基准上的结果。加载后每条数据为包含prompt、label与predict三字段的字典，可直接用于误差分析、模型对比或预测重评估。相关代码、评估脚本与解析后的指标可在配套GitHub仓库获取，训练语料与复现的模型权重亦在HuggingFace上公开，便于完整复现实验流程。

背景与挑战

背景概述

随着大语言模型在结构化数据理解任务中的广泛应用，表格理解领域亟需系统性的评估框架来量化模型能力与训练数据之间的复杂关系。由Naihao Deng、Sheng Zhang、Henghui Zhu等多位研究者于2026年发表在EACL Findings上的工作《What Really Matters for Table LLMs?》应运而生，其核心研究问题在于揭示何种模型架构与训练数据组合能够最优地赋能表格推理。该数据集作为论文的实验副产品，完整收录了17种不同基座模型在8至25个基准测试上的原始预测输出，涵盖WikiTableQuestions、FeTaQA、TabFact等十余个权威表格理解基准，以及MMLU、GPQA等通用推理任务，为后续元分析提供了标准化、可复现的预测语料库，对表格LLM领域的研究范式具有重要奠基作用。

当前挑战

围绕表格理解大语言模型的评估面临多重挑战。首先，表格数据固有的结构异质性与语义稀疏性使得模型难以统一处理多样化的表格格式（如关系表、键值表或嵌套表），而现有基准测试间的评价指标与任务定义差异进一步模糊了模型能力的真实边界。其次，构建此类大规模集成预测数据集需协调多项技术难题：各基线模型需在完全一致的指令模板与推理环境下运行，以消除解码策略、上下文长度等无关变量带来的偏差；同时，不同源数据集许可协议的兼容性核查（如TAT-QA、TabMWP等商业用途限制）以及17个模型×平均15个基准的预测文件组织（总计310个JSONL文件、约1.8GB），对数据存储与版本控制提出了严格的工程要求。

常用场景

经典使用场景

该数据集的核心应用场景在于为表格理解领域的大语言模型提供标准化的推理输出基准。研究者可借助这一资源，系统评估不同基础模型（如Mistral、Llama系列）在经过指令微调后，在涉及表格问答、事实核查、数学推理及语义解析等多样化任务上的表现。通过加载各模型在多个公开测评基准（如WikiTableQuestions、TabFact、TabMWP等）上的生成结果，能够深入分析模型架构选择与训练数据配方对表格推理能力的交互影响，从而搭建起从模型开发到性能验证的全流程评测体系。

实际应用

在实际应用中，该数据集为工业界部署表格驱动型智能系统提供了可靠的选型参考。技术团队可以依据这些预测结果，针对具体业务场景（如金融报表分析、医疗数据查询、电商商品属性比对等）筛选出最适合的模型与微调策略。同时，这一资源也服务于低资源场景下的模型蒸馏与迁移学习研究，开发人员通过对比原始模型与轻量化版本在各类表格任务上的输出差异，能够在保持推理精度的前提下有效压缩模型规模，降低实际部署的计算成本。

衍生相关工作

围绕该数据集衍生的工作主要集中在表格语言模型的归因分析和标准化评测方法上。一方面，研究者基于这份大规模预测输出构建了多维度误差分析工具，系统刻画了不同模型在表格语义解析、数值推理与逻辑蕴含等任务上的失败模式；另一方面，该数据集中包含的指令提示与模型输出对也被广泛用作强化学习中的偏好数据，催生了基于人类反馈优化表格推理能力的后续研究。此外，部分工作更是以此为基础，提出了面向表格数据的可解释性评估协议，进一步推动了该领域方法论体系的成熟与完善。