ds4sd/PubTabNet_OTSL

---
license: other
pretty_name: PubTabNet-OTSL
size_categories:
- 10K<n<100K
tags:
- table-structure-recognition
- table-understanding
- PDF
task_categories:
- object-detection
- table-to-text
---
# Dataset Card for PubTabNet_OTSL

## Dataset Description

- **Homepage:** https://ds4sd.github.io
- **Paper:** https://arxiv.org/pdf/2305.03393

### Dataset Summary

This dataset is a conversion of the original [PubTabNet](https://developer.ibm.com/exchanges/data/all/pubtabnet/) into the OTSL format presented in our paper "Optimized Table Tokenization for Table Structure Recognition". The dataset includes the original annotations amongst new additions.

### Dataset Structure

* cells: origunal dataset cell groundtruth (content).
* otsl: new reduced table structure token format
* html: original dataset groundtruth HTML (structure).
* html_restored: generated HTML from OTSL.
* cols: grid column length.
* rows: grid row length.
* image: PIL image

### OTSL Vocabulary:

**OTSL**: new reduced table structure token format
More information on the OTSL table structure format and its concepts can be read from our paper.
Format of this dataset extends work presented in a paper, and introduces slight modifications:

* "fcel" - cell that has content in it
* "ecel" - cell that is empty
* "lcel" - left-looking cell (to handle horizontally merged cells)
* "ucel" - up-looking cell (to handle vertically merged cells)
* "xcel" - 2d span cells, in this dataset - covers entire area of a merged cell
* "nl" - new line token

### Data Splits

The dataset provides three splits
- `train`
- `val`

## Additional Information

### Dataset Curators

The dataset is converted by the [Deep Search team](https://ds4sd.github.io/) at IBM Research.
You can contact us at [[e-mail]](mailto:[e-mail]).

Curators:
- Maksym Lysak, [@maxmnemonic](https://github.com/maxmnemonic)
- Ahmed Nassar, [@nassarofficial](https://github.com/nassarofficial)
- Christoph Auer, [@cau-git](https://github.com/cau-git)
- Nikos Livathinos, [@nikos-livathinos](https://github.com/nikos-livathinos)
- Peter Staar, [@PeterStaar-IBM](https://github.com/PeterStaar-IBM)

### Citation Information

```bib
@misc{lysak2023optimized,
title={Optimized Table Tokenization for Table Structure Recognition},
author={Maksym Lysak and Ahmed Nassar and Nikolaos Livathinos and Christoph Auer and Peter Staar},
year={2023},
eprint={2305.03393},
archivePrefix={arXiv},
primaryClass={cs.CV}
}```

license: 其他
pretty_name: PubTabNet-OTSL
size_categories:
- 10K<n<100K
tags:
- 表格结构识别
- 表格理解
- PDF
task_categories:
- 目标检测
- 表格转文本

# PubTabNet_OTSL 数据集卡片

## 数据集说明

- **主页**：https://ds4sd.github.io
- **论文**：https://arxiv.org/pdf/2305.03393

### 数据集概览

本数据集是将原始[PubTabNet](https://developer.ibm.com/exchanges/data/all/pubtabnet/)转换为我们发表于论文《Optimized Table Tokenization for Table Structure Recognition》（表格结构识别的优化表格Token化）中的OTSL格式所得，除新增内容外，亦包含原始数据集的标注信息。

### 数据集结构

* cells：原始数据集单元格真值（内容）
* otsl：新型轻量化表格结构Token格式
* html：原始数据集真值HTML（结构）
* html_restored：基于OTSL生成的HTML文件
* cols：网格列数
* rows：网格行数
* image：PIL图像

### OTSL 词表

**OTSL**：新型轻量化表格结构Token格式
有关OTSL表格结构格式及其相关概念的更多细节，可参阅我们的论文。
本数据集的格式基于已有论文工作进行扩展，并引入小幅修改：
* "fcel"：包含内容的单元格
* "ecel"：空白单元格
* "lcel"：左向关联单元格（用于处理水平合并单元格）
* "ucel"：上向关联单元格（用于处理垂直合并单元格）
* "xcel"：二维跨度单元格，在本数据集中用于覆盖合并单元格的全部区域
* "nl"：换行Token

### 数据集拆分

本数据集提供三类划分：
- `train`：训练集
- `val`：验证集

## 附加信息

### 数据集维护者

本数据集由IBM研究院[Deep Search团队](https://ds4sd.github.io/)转换完成。
可通过邮箱[[e-mail]](mailto:[e-mail])与我们取得联系。

维护者列表：
- Maksym Lysak，[@maxmnemonic](https://github.com/maxmnemonic)
- Ahmed Nassar，[@nassarofficial](https://github.com/nassarofficial)
- Christoph Auer，[@cau-git](https://github.com/cau-git)
- Nikos Livathinos，[@nikos-livathinos](https://github.com/nikos-livathinos)
- Peter Staar，[@PeterStaar-IBM](https://github.com/PeterStaar-IBM)

### 引用信息

bib
@misc{lysak2023optimized,
title={Optimized Table Tokenization for Table Structure Recognition},
author={Maksym Lysak and Ahmed Nassar and Nikolaos Livathinos and Christoph Auer and Peter Staar},
year={2023},
eprint={2305.03393},
archivePrefix={arXiv},
primaryClass={cs.CV}
}

原始信息汇总

数据集概述

数据集名称

• 名称: PubTabNet-OTSL

许可证

• 许可证: other

大小分类

• 大小: 10K<n<100K

标签

• 标签:
  • table-structure-recognition
  • table-understanding
  • PDF

任务分类

• 任务:
  • object-detection
  • table-to-text

数据集结构

• 结构:
  • cells: 原始数据集单元格标注（内容）
  • otsl: 新的简化表格结构标记格式
  • html: 原始数据集标注的HTML（结构）
  • html_restored: 从OTSL生成的HTML
  • cols: 网格列长度
  • rows: 网格行长度
  • image: PIL图像

OTSL词汇

• OTSL: 新的简化表格结构标记格式
  • "fcel": 有内容的单元格
  • "ecel": 空单元格
  • "lcel": 向左看的单元格（处理水平合并的单元格）
  • "ucel": 向上看的单元格（处理垂直合并的单元格）
  • "xcel": 2D跨度单元格，在本数据集中覆盖合并单元格的整个区域
  • "nl": 新行标记

数据分割

• 分割:
  • train
  • val

数据集创建者

• 创建者: Deep Search团队，IBM Research
• 联系: [e-mail]
• 成员:
  • Maksym Lysak, @maxmnemonic
  • Ahmed Nassar, @nassarofficial
  • Christoph Auer, @cau-git
  • Nikos Livathinos, @nikos-livathinos
  • Peter Staar, @PeterStaar-IBM

引用信息

bib @misc{lysak2023optimized, title={Optimized Table Tokenization for Table Structure Recognition}, author={Maksym Lysak and Ahmed Nassar and Nikolaos Livathinos and Christoph Auer and Peter Staar}, year={2023}, eprint={2305.03393}, archivePrefix={arXiv}, primaryClass={cs.CV} }

搜集汇总

数据集介绍

构建方式

在表格结构识别领域，精准的表格语义解析是技术难点之一。PubTabNet_OTSL数据集由IBM Research的Deep Search团队基于原始PubTabNet转换而来，旨在优化表格的标记化策略。该数据集将原始PubTabNet中的单元格内容、HTML结构等标注信息，转换为一种新颖的简化表格结构标记格式——OTSL（Optimized Table Tokenization）。构建过程中，不仅保留了原始数据集的真实标注，还新增了OTSL格式的序列标记、从OTSL重建的HTML结构，以及表格行列网格长度等元数据。每个样本均以PIL图像形式呈现，确保了视觉与结构信息的完整对齐。

特点

该数据集的核心亮点在于其创新的OTSL标记体系，它通过引入六类专用标记来高效编码表格的复杂结构：'fcel'表示有内容的单元格，'ecel'表示空单元格，'lcel'和'ucel'分别处理水平与垂直合并的单元格，'xcel'覆盖合并单元格的完整区域，'nl'作为换行分隔符。这种设计大幅压缩了传统HTML表示的冗余，同时保留了表格的二维空间关系。数据集规模介于1万至10万样本之间，提供了训练集与验证集两个划分，为表格结构识别任务提供了标准化、轻量化的训练基准。

使用方法

研究人员可借助该数据集进行表格结构识别模型的训练与评估。使用时，可直接加载图像与对应的OTSL序列，通过序列到序列或基于Transformer的架构进行端到端学习。数据集中提供的'html_restored'字段允许将模型输出的OTSL序列还原为HTML，便于与原始HTML标注进行对比验证。建议将OTSL标记视为一种紧凑的结构语言，结合图像特征提取器，设计针对性的解码策略。此外，该数据集同样适用于表格到文本生成、目标检测等下游任务，只需按需选取'cells'、'html'等字段进行适配即可。

背景与挑战

背景概述

在文档智能与表格理解领域，表格结构识别始终是一项关键而富有挑战的任务，其目标在于从PDF或扫描文档中精准还原表格的物理布局与逻辑关系。由IBM Research深度搜索团队于2023年创建的PubTabNet_OTSL数据集，正是针对这一研究需求而诞生的创新性资源。该数据集以经典的PubTabNet为基础，由Maksym Lysak、Ahmed Nassar、Christoph Auer、Nikos Livathinos和Peter Staar等研究人员共同构建，核心贡献在于提出并应用了一种优化的表格标记格式（OTSL），旨在通过更紧凑的词汇表（如fcel、ecel、lcel等）替代传统HTML表示，从而降低序列化长度并提升模型训练效率。该数据集包含超过5万张表格图像及对应的多模态标注（原始HTML、OTSL序列、恢复HTML及单元格网格信息），其配套论文发表于2023年，迅速成为表格结构识别领域的重要基准，推动了端到端模型在复杂表格（如合并单元格、跨行跨列结构）上的研究进展。

当前挑战

当前PubTabNet_OTSL数据集所面临的核心挑战体现在两个层面。在领域问题层面，表格结构识别需应对真实文档中表格的多样性与复杂性，例如不规则单元格合并（跨行、跨列及二维扩展）、空单元格的语义区分、以及不同排版风格（如无边框表格）带来的几何歧义，这些因素导致现有模型在泛化到未见表格类型时性能显著下降。在数据集构建层面，将原始PubTabNet的HTML标注转换为OTSL格式时，需精确处理单元格间的空间映射关系，避免因标记压缩而丢失关键结构信息；此外，数据集中部分图像存在低分辨率或扫描噪声，可能影响OTSL序列与视觉特征的对齐质量，而训练与验证集的划分虽已提供，但缺乏针对特定表格结构（如含嵌套表或旋转文本）的专门子集，限制了细粒度评估与模型鲁棒性测试的能力。

常用场景

经典使用场景

在表格结构识别这一深耕文档智能理解的关键领域中，PubTabNet_OTSL数据集凭借其创新的OTSL（优化表格令牌化）标注格式，成为研究者训练与评估模型解析复杂表格布局的标准基准。该数据集将原始PubTabNet中的HTML结构标注转化为更紧凑、更高效的序列化令牌序列，涵盖了包含内容单元格、空单元格、以及水平和垂直合并单元格等多样化情形。经典使用场景聚焦于基于编码器-解码器架构的表格结构预测任务，模型接收表格图像作为输入，输出结构化的OTSL令牌流，从而精准还原表格的行列组织与单元格归属关系，极大推动了表格图像到结构化文本的端到端识别能力。

解决学术问题

该数据集有效回应了学术界在表格结构识别领域长期面临的两大挑战：标注冗余与合并单元格表征困难。传统的HTML标注方式存在大量重复标签，导致序列过长且训练效率低下；而OTSL格式通过引入'fcel'、'lcel'、'ucel'等专用令牌，以极少的符号精准刻画单元格的合并与跨域关系，显著降低了序列长度与模型解码复杂度。此外，数据集提供了'html_restored'字段，实现了从OTSL到完整HTML的可逆转换，为验证结构预测的完整性与一致性提供了可靠途径。这一创新不仅提升了表格结构识别的准确率，也为后续基于序列到序列的文档理解研究奠定了坚实的理论与数据基础。

衍生相关工作

围绕PubTabNet_OTSL数据集，学术界涌现了一系列具有影响力的衍生工作，进一步拓展了表格结构识别的边界。其中，原始论文《Optimized Table Tokenization for Table Structure Recognition》提出了OTSL格式并验证了其在减少令牌长度和提升识别精度上的显著优势，后续研究者在此基础上探索了基于Transformer的表格结构解码器、结合视觉与文本线索的多模态融合方法，以及针对开放式表格布局的零样本泛化技术。此外，该数据集常与PubTabNet、TabStructDB等基准联合使用，用于对比不同令牌化策略对模型性能的影响，推动形成了以令牌压缩为核心的研究脉络，为构建更轻量、更鲁棒的文档解析系统提供了持续动力。