Document Extraction Benchmark

一个公开、可复现的文档数据提取头对头基准，基于真实世界的公共文档构建，包含手写验证的标签和故意设计的困难结构：行项目数组、多页表格、11种语言、从右到左和CJK脚本、旋转扫描、手写以及10种文件类型。数据集涵盖50个文档，包括发票、银行和经纪对账单、公用事业账单、年度报告、工资单、采购订单、运单、实验室和出院报告、工程图纸、保险声明、税务表格等，大多数具有至少一个数组、多页、嵌套或表格特征。

A public, reproducible head-to-head benchmark for document data extraction. Built on real-world public documents, it includes hand-validated labels and intentionally designed challenging structures: line-item arrays, multi-page tables, 11 languages, right-to-left and CJK scripts, rotated scans, handwritten content, and 10 document types. The dataset comprises 50 documents covering invoices, bank and brokerage statements, utility bills, annual reports, payrolls, purchase orders, waybills, laboratory and discharge reports, engineering drawings, insurance declarations, tax forms, and more. Most of these documents possess at least one feature such as arrays, multi-page layouts, nested structures, or tables.

原始信息汇总

DocuBench 数据集概述

DocuBench 是一个面向架构化信息提取的公开基准，专注于评估从真实世界中具有挑战性的文档中提取结构化数据的能力。该基准包含 50 份 精心挑选的真实文档，由 DocuPipe 团队维护和运营。

核心功能与挑战

• 评估目标：衡量系统在遵循给定 JSON Schema 的前提下，从文档中提取结构化字段的准确性。
• 挑战设计：文档被刻意选择以暴露真实提取系统的弱点，覆盖了以下多种困难场景：
  • 数组与行项目表格 (30 份)：发票、对账单等，需要提取结构化数组。
  • 总数核对 (24 份)：需要对小计、总计进行算术校验。
  • 跨页上下文：交易和表格内容跨越分页。
  • 从右至左脚本 (7 份)：希伯来语和阿拉伯语的发票、工资单。
  • CJK 脚本 (3 份)：日语和中文的发票、收据。
  • 旋转扫描件 (2 份) 与 手写体 (1 份)。
  • 嵌套对象与大中取小查询。
  • 十种文件类型：涵盖 PDF、JPEG、PNG、TIFF、XLSX、CSV、XML、TXT、DOCX 和 HTML。

数据规模与构成

特性	说明
文档数量	50 份公开或可自由分发的文件
文件类型	10 种
支持语言/脚本	11 种，包括英语、希伯来语、日语、中文、阿拉伯语、法语、德语、葡萄牙语、荷兰语、意大利语、西班牙语
每项任务包含	源文档 · JSON Schema · 人工核验的 JSON 标签
评估指标	宏平均字段准确率，采用不依赖顺序的数组匹配

评估方式与排行榜

• 评分机制：对系统输出的 JSON 对象与人工标签进行逐字段比较。字符串会进行空白、标点和大小写的标准化；数字作为浮点数比较；数组匹配不依赖元素顺序。指标为所有文档的宏平均字段准确率。
• Leaderboard (基线排名)：以下排名使用公开评分器对六种系统进行评测所得，所有原始输出均记录在仓库中。

排名	系统	准确率
🥇	DocuPipe — 高投入	97.24%
🥈	DocuPipe — 标准投入	96.00%
3	Gemini	95.80%
4	GPT	93.54%
5	Extend	92.52%
6	Claude	90.33%

如何使用

• 已有系统：在仓库的 results/<系统名称>/ 目录下提交 JSON 输出文件，然后运行评分脚本并提交 Pull Request。评分器无需额外安装即可独立使用。
• 复现基线：仓库提供了用于运行 GPT、Claude、Gemini 和 Extend 模型的脚本。使用相应的 API 密钥即可复现基线结果。
• 探索结果：可通过开放的交互式结果浏览器 (docubench-explorer.html) 按文档属性、语言、能力进行过滤查看，并深入分析每项文档的得分。

许可与归属

• 代码：采用 MIT 许可。
• 标签、架构与基准元数据/结果：采用 CC BY 4.0 许可。
• 文档：每份文档保留其原始许可，参见 SOURCES.md 文件。

更多信息

• 详细的数据集构成与用途说明可查阅数据集卡片 (docs/dataset-card.md)。
• 评分的完整规则与限制详见评分文档 (docs/scoring.md)。
• 基准不衡量的方面（局限性）可查看 docs/limitations.md。

搜集汇总

数据集介绍

构建方式

DocuBench精心遴选50份真实世界中极具挑战性的文档，涵盖发票、报表、日程表等多种类型。每份文档均配备JSON Schema结构化提取模式与经过人工核验的JSON标签，形成标准化的三元组任务单元。数据集构建过程中特别纳入了多种现实难题：多行数组与跨页表格、需勾稽的总计金额、从右至左书写系统（希伯来语、阿拉伯语）、中日韩文字、旋转扫描件、手写笔迹以及十种不同文件格式（PDF、JPEG、PNG、TIFF、XLSX等）。所有基线系统的原始输出均被完整提交至仓库，并通过统一的开源评分器与同一套人工标签进行比对，确保评估过程的透明与可复现。

特点

DocuBench的核心特质在于其高度聚焦于真实文档提取中的典型失败模式。其包含30份涉及数组与行项目表格的文档、24份需要总额勾稽的任务，以及多语言多脚本的覆盖（11种语言）。数据集提供了基于宏平均字段准确率的评估指标，并采用顺序无关的数组匹配算法，避免因行序变动而误判。此外，用户可通过自包含的交互式结果探索器（docubench-explorer.html）按文件类型、语言、能力等维度筛选50份文档，深入比较六个系统的逐项得分，所有原始结果亦在结果目录中完整开放。

使用方法

使用DocuBench时，研究者需为每份源文档搭配其JSON Schema，运行自身系统生成JSON输出，并写入以系统名和文档ID命名的结果文件。系统输出需包含实际数据与元信息。随后可调用附带的标准库级评分器（scorer.py）执行字段级评分，亦可通过命令行工具（docubench CLI）完成验证、评分与报告生成。所有评分细节、归一化规则及已知局限均在官方文档中明确说明，新的系统结果可通过提交Pull Request加入排行榜，接受与基线相同的评估标准。

背景与挑战

背景概述

文档智能提取领域长期缺乏能够真实反映复杂现实场景的标准化评估基准。现有评测多聚焦于规整的单页PDF，难以衡量系统在处理多语言排版、异构文件格式及结构化验证时的鲁棒性。为填补这一空白，DocuPipe团队于2024年发布了DocuBench（Document Extraction Benchmark），精心选取了50份涵盖发票、报表、合同等实际业务场景的硬性文档。该基准不仅包含多语言、多页、旋转扫描及手写等挑战要素，还独创性地引入了总量可验证模式与无顺序依赖的数组匹配机制，并将所有系统输出与人工标注结果通过统一开源评分器进行公正评估。DocuBench的诞生为文档信息抽取领域树立了可信的竞技场，推动了提取系统从实验室理想环境向真实工业应用的跨越。

当前挑战

DocuBench所应对的核心挑战在于如何破解真实文档提取的复合困局。首先，领域技术难题体现在：30份文档包含需精准抽取为结构化数组的多行明细表与跨页表格，24份文档要求系统验证各层级合计与总和的逻辑自洽性，同时还需处理7份希伯来语/阿拉伯语右至左书写文本、3份中日韩脚本以及2份旋转扫描件与1份手写单据的混合干扰。其次，基准构建过程中面临多重技术抉择的挑战：如何为10种迥异的文件格式（PDF、JPEG、PNG、TIFF、XLSX、CSV、XML、TXT、DOCX、HTML）设计统一的JSON Schema，确保抽象模式对多样源文档的适配性；如何制定严谨的无顺序匹配算法以公平评价数组类字段的提取质量；以及如何在保持评分规则透明可复现的同时，兼容系统输出中可能出现的字段缺失、数值误差与结构嵌套等偏差形态。

常用场景

经典使用场景

在文档智能与结构化信息抽取领域，DocuBench作为一项精心构建的公开基准测试，其经典使用场景聚焦于评估和对比不同系统在真实世界复杂文档上的模式引导抽取能力。该基准包含50份精心挑选的高难度文档，涵盖多行数组与跨页表格、金额核对、从右至左书写体系（如希伯来语与阿拉伯语）、中日韩文字、旋转扫描件及手写笔迹等多种极具挑战性的要素。研究者可通过提供文档及其对应的JSON Schema，令系统输出结构化JSON数据，并与手动校验标签进行字段级准确率比对，从而客观衡量系统应对现实文档复杂性的鲁棒性与精确度。

实际应用

在实际产业应用中，DocuBench直接服务于自动化发票处理、财务报表解析、物流单据核验以及多语种合同审查等对精确度要求极高的业务场景。例如，企业可以利用该基准来筛选或定制从扫描件、PDF乃至Excel文件中提取结构化字段（如发票号、明细条目与总计金额）的AI方案，确保系统能够正确处理跨页表格与多币种数据。此外，该基准模拟了旋转扫描与手写干扰等真实劣质输入情况，帮助业务方评估系统在恶劣数据质量下的稳定性，从而为部署如应付账款自动化、仓储单据录入等企业级RPA流水线提供可信赖的性能参考，显著降低人工复核成本。

衍生相关工作

围绕DocuBench已衍生出一系列富有影响力的相关研究与实践工作，最直观的体现是其公开排行榜上各大系统之间的深度对标分析。目前已有多家主流模型供应商（如OpenAI的GPT、Anthropic的Claude、Google的Gemini及Extend）提交了基线结果，而DocuPipe自身的高精度表现则验证了针对特定文档任务进行精细化提示设计与后处理流程优化的有效性。此外，该基准框架促进了可复现性评估工具的诞生，如开源的独立评分器（scorer.py）和支持深入钻取逐文档分数的交互式结果探索器（docubench-explorer.html），这些工具已成为后续研究者衡量自身模型相对进展的强大基础设施。更广泛的社区贡献则体现在新系统提交流程的标准化，催生了一系列关于复杂文档场景下Schema设计与字段对齐的学术讨论与方法论改进。