MathDG/DocLayNet-base-law

---
license: other
license_name: other
license_link: LICENSE
dataset_info:
features:
- name: id
dtype: string
- name: texts
sequence: string
- name: bboxes_block
sequence:
sequence: int64
- name: bboxes_line
sequence:
sequence: int64
- name: categories
sequence:
class_label:
names:
'0': Caption
'1': Footnote
'2': Formula
'3': List-item
'4': Page-footer
'5': Page-header
'6': Picture
'7': Section-header
'8': Table
'9': Text
'10': Title
- name: image
dtype: image
- name: page_hash
dtype: string
- name: original_filename
dtype: string
- name: page_no
dtype: int32
- name: num_pages
dtype: int32
- name: original_width
dtype: int32
- name: original_height
dtype: int32
- name: coco_width
dtype: int32
- name: coco_height
dtype: int32
- name: collection
dtype: string
- name: doc_category
dtype: string
splits:
- name: train
num_bytes: 437969372.61070913
num_examples: 1084
- name: validation
num_bytes: 45861372.73611111
num_examples: 117
- name: test
num_bytes: 33038984.336673345
num_examples: 86
download_size: 596745929
dataset_size: 516869729.68349355
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
- split: validation
path: data/validation-*
- split: test
path: data/test-*
---

许可证：other
许可证名称：other
许可证链接：LICENSE

数据集信息（dataset_info）：
特征列表：
- 字段名：id，数据类型：字符串（string）
- 字段名：texts，类型：字符串序列
- 字段名：bboxes_block，类型：二维64位整型序列序列，即块级边界框（bboxes_block）
- 字段名：bboxes_line，类型：二维64位整型序列序列，即行级边界框（bboxes_line）
- 字段名：categories，类型：序列，其中类别标签（class_label）的命名映射为：
'0': 图注（Caption）
'1': 脚注（Footnote）
'2': 公式（Formula）
'3': 列表项（List-item）
'4': 页脚（Page-footer）
'5': 页眉（Page-header）
'6': 图片（Picture）
'7': 章节标题（Section-header）
'8': 表格（Table）
'9': 正文文本（Text）
'10': 文档标题（Title）
- 字段名：image，数据类型：图像（image）
- 字段名：page_hash，数据类型：字符串
- 字段名：original_filename，数据类型：字符串
- 字段名：page_no，数据类型：32位整型（int32）
- 字段名：num_pages，数据类型：32位整型
- 字段名：original_width，数据类型：32位整型
- 字段名：original_height，数据类型：32位整型
- 字段名：coco_width，数据类型：32位整型
- 字段名：coco_height，数据类型：32位整型
- 字段名：collection，数据类型：字符串
- 字段名：doc_category，数据类型：字符串

数据集划分：
- 训练集（train）：数据字节数437969372.61070913，样本数量1084
- 验证集（validation）：数据字节数45861372.73611111，样本数量117
- 测试集（test）：数据字节数33038984.336673345，样本数量86

整体下载大小：596745929字节，数据集总大小：516869729.68349355字节

配置项（configs）：
- 默认配置（default）：数据文件路径对应如下：
- 训练集：data/train-*
- 验证集：data/validation-*
- 测试集：data/test-*

原始信息汇总

数据集概述

数据集特征

• id: 字符串类型
• texts: 字符串序列
• bboxes_block: 整数序列的序列
• bboxes_line: 整数序列的序列
• categories: 类别标签序列，包含以下类别：
  • 0: Caption
  • 1: Footnote
  • 2: Formula
  • 3: List-item
  • 4: Page-footer
  • 5: Page-header
  • 6: Picture
  • 7: Section-header
  • 8: Table
  • 9: Text
  • 10: Title
• image: 图像类型
• page_hash: 字符串类型
• original_filename: 字符串类型
• page_no: 整数类型
• num_pages: 整数类型
• original_width: 整数类型
• original_height: 整数类型
• coco_width: 整数类型
• coco_height: 整数类型
• collection: 字符串类型
• doc_category: 字符串类型

数据集分割

• train: 包含1084个样本，大小为437969372.61070913字节
• validation: 包含117个样本，大小为45861372.73611111字节
• test: 包含86个样本，大小为33038984.336673345字节

数据集大小

• 下载大小: 596745929字节
• 数据集大小: 516869729.68349355字节

配置

• default:
  • train: 路径为data/train-*
  • validation: 路径为data/validation-*
  • test: 路径为data/test-*

搜集汇总

数据集介绍

构建方式

在文档智能分析领域，高质量的版面解析数据集是推动技术发展的基石。MathDG/DocLayNet-base-law 数据集基于 DocLayNet 框架构建，专门聚焦法律文档领域，通过精细的标注流程完成数据采集。数据集包含 1084 个训练样本、117 个验证样本和 86 个测试样本，每个样本均涵盖文本内容、边界框坐标（包括块级和行级）、图像信息及元数据。标注类别涵盖标题、段落、表格、图片、公式等 11 种常见文档元素，确保了对法律文档复杂版面的全面覆盖。数据收集自多种法律文书，经过严格的质量控制，保证了标注的一致性和准确性。

特点

该数据集的核心特点在于其专业性与精细度。首先，它专注于法律文档领域，填补了通用版面解析数据集在法律场景下的空白。其次，数据提供了块级（bboxes_block）和行级（bboxes_line）双重边界框标注，支持从粗粒度到细粒度的多层级版面分析任务。此外，数据集保留了原始文档的页面尺寸、COCO 标准化尺寸以及文档类别等丰富元信息，便于研究者进行多维度分析。类别定义清晰且覆盖全面，特别包含法律文档中常见的页眉、页脚、脚注等元素，有助于训练模型处理专业文档的独特排版结构。

使用方法

研究者可通过 Hugging Face Datasets 库便捷加载该数据集，使用默认配置即可直接获取训练、验证和测试三个子集。数据以图像和文本对的形式呈现，适用于训练基于深度学习的文档版面分析模型，如目标检测网络或序列标注模型。使用时，建议将边界框坐标进行归一化处理，以适应不同输入尺寸的模型。数据集中的图像字段可直接用于视觉特征提取，而文本字段则可用于结合 OCR 结果进行多模态学习。对于法律文档的自动化处理任务，如合同分析或判例检索，该数据集可作为预训练或微调的基础资源。

背景与挑战

背景概述

在文档智能与版面分析领域，高质量标注数据集是推动模型性能提升的关键基石。MathDG/DocLayNet-base-law数据集由专业研究团队构建，旨在服务于法律文档的版面结构解析任务。该数据集于2023年左右发布，隶属于DocLayNet系列，其核心研究问题聚焦于对法律文档中多样化的版面元素——如标题、表格、图片、页眉页脚及公式等进行精细化的分类与定位。通过提供超过一千页经过人工标注的法律文档，该数据集填补了垂直领域文档结构理解的资源空白，为后续基于深度学习的文档分析模型提供了坚实的训练与评估基准，显著推动了法律文档自动化处理技术的进步。

当前挑战

当前，该数据集面临的核心挑战主要体现在两个方面。其一，法律文档版面结构复杂多变，包含大量非标准化的页眉页脚、嵌套的列表项以及跨页的表格与公式，导致模型在准确识别与分割这些元素时易出现混淆与遗漏，尤其是对罕见类别如脚注和公式的检测精度仍有较大提升空间。其二，在数据集构建过程中，人工标注的精细度与一致性难以完美兼顾，不同标注者对复杂版面元素的边界界定存在主观差异，加之文档扫描质量参差不齐、字体与布局风格多样，这些因素共同增加了标注噪声，对模型训练的鲁棒性构成了严峻考验。

常用场景

经典使用场景

在法律文档分析领域，MathDG/DocLayNet-base-law 数据集为文档布局解析提供了精细化的标注基准。其经典使用场景聚焦于法律文本的版面结构识别，涵盖标题、段落、表格、图片、页眉页脚等十余种语义区域的分割与分类。研究者可基于该数据集训练深度学习模型，实现对法律卷宗、合同条款或判例文书的高精度布局理解，从而为后续的文本信息提取与知识图谱构建奠定基础。

解决学术问题

该数据集有效解决了法律文档因结构复杂、排版多样而导致的自动化分析难题。传统光学字符识别（OCR）技术常混淆不同语义区块，而 DocLayNet-base-law 通过提供像素级标注的版面元素，使得学术研究能够聚焦于多模态文档的语义结构建模。它推动了文档图像理解中区域分类与边界回归的联合优化，显著提升了法律场景下非结构化文档的结构化解析能力，为信息检索与自然语言处理交叉领域提供了关键支撑。

衍生相关工作

基于 DocLayNet-base-law 数据集，学术界衍生出多项经典工作，包括但不限于基于 Transformer 的文档布局预训练模型（如 LayoutLMv3）的微调应用、多任务学习框架下的版面解析与文本识别联合优化，以及弱监督场景下利用该数据集进行迁移学习的探索。这些工作不仅验证了数据集在法律领域的泛化能力，还推动了通用文档理解模型向垂直行业的适配，形成了从基准评测到算法创新的良性循环。