Effyis/Table-Extraction

该数据集旨在评估大型语言模型（LLMs）从文本中提取表格的能力。它提供了一系列包含表格的文本片段及其对应的JSON格式的结构化表示。数据集基于Table Fact Dataset（也称为TabFact），该数据集包含从维基百科提取的16,573个表格。每个数据点由两部分组成：包含嵌入表格的文本片段（context）和表示提取的表格结构的JSON对象（answer）。JSON对象的格式详细说明了每个列标题及其对应的行数据。

This dataset is designed to evaluate the table extraction capability of Large Language Models (LLMs) from natural language text. It provides a set of text snippets containing embedded tables, paired with their structured representations in JSON format. This dataset is based on the Table Fact Dataset (also known as TabFact), which contains 16,573 tables extracted from Wikipedia. Each data point includes two components: a text snippet embedding the target table (context) and a JSON object that delineates the structure of the extracted table (answer). The JSON object format specifies each column header and its corresponding row data.

原始信息汇总

Table Extract Dataset

概述

该数据集旨在评估大型语言模型（LLMs）从文本中提取表格的能力。它提供了一系列包含表格的文本片段及其对应的JSON格式结构化表示。

来源

数据集基于Table Fact Dataset（也称为TabFact），包含从维基百科提取的16,573个表格。

结构

每个数据点包含两个元素：

• context：包含嵌入表格的文本片段。
• answer：表示提取的表格结构的JSON对象。

JSON对象格式如下： json { "column_1": { "row_id": "val1", "row_id": "val2", ... }, "column_2": { "row_id": "val1", "row_id": "val2", ... }, ... }

每个键代表一个列标题，对应的值是包含每列中各行键值对的对象。

示例

示例1

Context:

Answer:

json { "date": { "0": "1st", "1": "3rd", "2": "4th", "3": "11th", "4": "17th", "5": "24th", "6": "25th" }, "opponent": { "0": "bracknell bees", "1": "slough jets", "2": "slough jets", "3": "wightlink raiders", "4": "romford raiders", "5": "swindon wildcats", "6": "swindon wildcats" }, "venue": { "0": "home", "1": "away", "2": "home", "3": "home", "4": "home", "5": "away", "6": "home" }, "result": { "0": "won 4 - 1", "1": "won 7 - 3", "2": "lost 5 - 3", "3": "won 7 - 2", "4": "lost 3 - 4", "5": "lost 2 - 4", "6": "won 8 - 2" }, "attendance": { "0": 1753, "1": 751, "2": 1421, "3": 1552, "4": 1535, "5": 902, "6": 2124 }, "competition": { "0": "league", "1": "league", "2": "league", "3": "league", "4": "league", "5": "league", "6": "league" }, "man of the match": { "0": "martin bouz", "1": "joe watkins", "2": "nick cross", "3": "neil liddiard", "4": "stuart potts", "5": "lukas smital", "6": "vaclav zavoral" } }

示例2

Context:

Answer:

json { "country": { "exonym": { "0": "iceland", "1": "indonesia", "2": "iran", "3": "iraq", "4": "ireland", "5": "isle of man" }, "endonym": { "0": "ísland", "1": "indonesia", "2": "īrān ایران", "3": "al - iraq العراق îraq", "4": "éire ireland", "5": "isle of man ellan vannin" } }, "capital": { "exonym": { "0": "reykjavík", "1": "jakarta", "2": "tehran", "3": "baghdad", "4": "dublin", "5": "douglas" }, "endonym": { "0": "reykjavík", "1": "jakarta", "2": "tehrān تهران", "3": "baghdad بغداد bexda", "4": "baile átha cliath dublin", "5": "douglas doolish" } }, "official or native language(s) (alphabet/script)": { "0": "icelandic", "1": "bahasa indonesia", "2": "persian ( arabic script )", "3": "arabic ( arabic script ) kurdish", "4": "irish english", "5": "english manx" } }

搜集汇总

数据集介绍

构建方式

该数据集源自广为人知的Table Fact数据集（TabFact），后者收录了从维基百科中提取的16,573个表格。在此基础上，Effyis/Table-Extraction数据集进一步将原始表格数据转化为文本片段与结构化JSON表示形式的配对。每条数据包含一个嵌入表格的上下文文本字符串，以及一个以列为主键、行为子键的JSON对象，精准映射表格的列标题与各行内容，从而构建起评估大语言模型表格提取能力的标准化基准。

使用方法

使用该数据集时，研究人员可将上下文文本输入至大语言模型，要求其输出对应的JSON表格结构。通过对比模型生成的JSON与标准答案，可量化评估模型在表格检测、列标题识别、行数据对齐等方面的性能。该数据集适用于零样本或少样本评估场景，支持以训练集分割进行批量测试，并兼容HuggingFace Datasets库的加载方式，便于集成至现有的模型评测流水线中。

背景与挑战

背景概述

在自然语言处理与信息抽取的交汇领域，表格作为结构化信息的重要载体，其自动化提取能力对于金融、学术等场景下的知识图谱构建与智能问答系统具有深远意义。Effyis/Table-Extraction数据集由研究团队于近年创建，基于广受关注的TabFact数据集（源自维基百科的16,573张表格）进行重构，旨在评估大型语言模型从非结构化文本中精准还原表格结构的能力。该数据集的设计聚焦于跨语言场景，涵盖英语与阿拉伯语，为多语言表格理解研究提供了标准化评测基准。其发布推动了从传统表格分类任务向复杂表格解析任务的范式迁移，在工业界与学术界引发了关于模型结构化推理能力的广泛讨论。

当前挑战

当前数据集面临的核心挑战源于表格数据固有的复杂性与构建过程的严谨性。首先，表格在文本中的呈现形式多样，包括多级表头、合并单元格及嵌套结构，这对模型理解行列间的语义关联构成显著障碍，易导致列映射错位或行缺失。其次，跨语言场景中，阿拉伯语从右至左的书写方向与英语混排时，其字符编码与对齐规则进一步增加了抽取难度。在构建层面，从TabFact原始数据中提取并标准化为JSON格式时，需处理表格描述文本中隐含的歧义性（如省略号或跨页引用），确保上下文与结构化答案的严格对应，这一过程对标注人员的领域知识要求极高，且人工校验成本高昂。

常用场景

经典使用场景

该数据集的核心用途在于评估和提升大语言模型从非结构化文本中精准抽取表格结构的能力。研究者通常将其作为基准，测试模型在理解复杂排版、跨行跨列信息整合以及多语言表格语义解析方面的表现。通过将上下文中的表格内容转化为标准化的JSON格式，该数据集为模型提供了明确的监督信号，使其学会识别表头、行索引与单元格值之间的对应关系，从而在信息抽取任务中实现从“文本感知”到“结构化认知”的跨越。

解决学术问题

该数据集有效解决了学术界在表格理解领域长期面临的标注数据匮乏与评估标准不统一的问题。传统方法多依赖规则或特定领域模板，难以泛化至多样化的表格样式与语言环境。基于TabFact构建的本数据集，不仅提供了16,573张源自维基百科的高质量表格，还统一了抽取结果的表征形式，使得模型在事实核查、知识库构建等下游任务中的表现得以量化比较。其意义在于推动了从表格感知到语义理解的范式转变，为构建更鲁棒的文档智能系统奠定了数据基础。

实际应用

在现实业务场景中，该数据集可赋能金融、法律、医疗等领域的自动化文档处理流程。例如，金融机构可从年报文本中自动提取财务指标表格，实现数据驱动的风险分析；法律事务所能够快速将合同条款中的费率表或时间表转化为可检索的结构化数据，提升审查效率。此外，在跨语言信息系统中，该数据集支持多语言表格的抽取与对齐，助力全球化企业的数据整合与报告生成，显著降低人工录入成本与错误率。

数据集最近研究

最新研究方向

在金融与多语言信息抽取的交叉领域中，Effyis/Table-Extraction数据集正成为评估大语言模型表格结构化能力的重要基准。该数据集基于TabFact的Wikipedia表格资源，通过构建文本与JSON结构化表示的映射，推动模型从非结构化叙述中精准还原表格逻辑。前沿研究聚焦于跨语言表格理解，尤其是英语与阿拉伯语混合场景下的列头对齐与行关系推理，这与金融报告中多语种财报表格的自动化解析需求紧密呼应。当前热点包括利用该数据集微调模型以提升对复杂表头嵌套、合并单元格的识别，以及探索提示工程在低资源语言表格抽取中的泛化能力。其意义在于为智能文档处理、金融数据挖掘等应用提供标准化的评估范式，加速表格感知型AI从学术验证向工业落地的转化。