ConfBench
收藏资源简介：
FCC发票已验证增强数据集是一个文档理解基准数据集，专为支持置信度校准研究、OCR鲁棒性评估以及在现实噪声条件下的关键信息提取（KIE）而设计。数据集包含75份真实世界的美国联邦通信委员会（FCC）发票文档（多页PDF格式，平均每份约2页），来自法律/广播广告领域。每份原始清洁文档通过最多18个不同的、基于Augraphy库构建的文档退化流程进行了增强，模拟了广泛的现实世界扫描/打印伪影，如扫描仪滚轮痕迹、污渍、折叠、墨水渗透、摩尔纹、阴影、JPEG压缩、几何畸变、装订阴影、水印等，从而生成了噪声版本。数据集总计提供1,346个样本（75份文档 × 最多18个噪声流程）。每个样本包括原始清洁PDF、噪声PDF以及经过验证的真实实体标注。标注遵循结构化模式，包含文档分类（如“发票”）和推理结果，推理结果字段包括机构（广告代理名称）、广告商（客户名称）、总金额（美元）、付款条款（如“30天”）、代理佣金（美元）、应付净额（美元）以及行项目列表。每个行项目又包含行项目描述、开始日期、结束日期、星期模式（如“-T-----”）和行项目费率（美元）等子字段。数据集基于RealKIE-FCC-Verified数据集构建，修正了原始RealKIE基准中的标注问题（如行项目分组和错误值更正）。该数据集适用于文档问答、图像到文本、信息提取等任务的评估和基准测试，特别用于研究模型在不同程度文档退化下的置信度、OCR系统在噪声文档上的鲁棒性，以及分析特定噪声类型对各个字段提取准确性的影响，并以CC BY-NC 4.0许可证发布。
The FCC Invoice Verified Augmented Dataset is a document understanding benchmark dataset designed to support confidence calibration research, OCR robustness evaluation, and key information extraction (KIE) under real-world noisy conditions. The dataset consists of 75 real-world U.S. Federal Communications Commission (FCC) invoice documents (multi-page PDFs, averaging about 2 pages each) from the legal/broadcast advertising domain. Each original clean document is augmented with up to 18 different document degradation pipelines built on the Augraphy library, simulating a wide range of real-world scanning/printing artifacts such as scanner roller marks, stains, folds, ink bleed-through, moiré patterns, shadows, JPEG compression, geometric distortions, binding shadows, watermarks, etc., to generate noisy versions. The dataset provides a total of 1,346 samples (75 documents × up to 18 noise pipelines). For each sample, it includes the original clean PDF, noisy PDF, and verified ground-truth entity annotations. The annotations follow a structured schema containing document classification (e.g., invoice) and inference results. The inference results fields include agency (advertising agency name), advertiser (client name), total amount (USD), payment terms (e.g., 30 days), agency commission (USD), net payable (USD), and a list of line items. Each line item further contains subfields such as line item description, start date, end date, day pattern (e.g., -T-----), and line item rate (USD). The dataset is built upon the RealKIE-FCC-Verified dataset, which corrects annotation issues in the original RealKIE benchmark (e.g., line item grouping and erroneous value corrections). It is intended for evaluation and benchmarking of tasks such as document question answering, image-to-text, and information extraction, particularly for studying model confidence under varying document degradation, OCR system robustness on noisy documents, and analyzing the impact of specific noise types on the accuracy of field extraction. The dataset is released under the CC BY-NC 4.0 license.
数据集概述
FCC Invoices Verified Augmented（又名 ConfBench）是一个面向文档理解领域的基准数据集，专注于在真实噪声条件下评估置信度校准、OCR鲁棒性以及关键信息抽取（KIE）。
核心特性
- 文档领域：法律 / 广播广告
- 文档类型：FCC（美国联邦通信委员会）发票（多页 PDF）
- 原始文档数：75份
- 噪声管线数：每份文档最多18种不同的文档退化管线
- 总样本数：1,346条（75份文档 × 最多18种噪声管线）
- 每份文档平均页数：约2页
- 语言：英语
- 许可协议：CC BY-NC 4.0
数据结构
数据集遵循以下文件布局：
amazon/ConfBench/ └── assets/ └── {doc_id}/ ├── original.pdf # 原始清洁PDF ├── gt.json # 真实标注（Ground Truth） ├── metadata.json # 管线清单 ├── default/ │ └── default_noisy.pdf ├── archetype3/ │ └── archetype3_noisy.pdf └── ...（另外16条管线）
真实标注（gt.json）模式
包含以下字段：
- document_class.type：固定为 "Invoice"
- inference_result：包含7个实体字段：
- Agency（string）：广告代理公司名称
- Advertiser（string）：客户/广告商名称
- GrossTotal（float）：发票总金额（美元）
- PaymentTerms（string）：付款条件（如 "30 Days"）
- AgencyCommission（float）：代理佣金（美元）
- NetAmountDue（float）：佣金后的净应付金额（美元）
- LineItems（list）：行项目列表，每个项目包含：
- LineItemDescription（string）：节目/时段描述
- LineItemStartDate（string）：播出开始日期（MM/DD/YY）
- LineItemEndDate（string）：播出结束日期（MM/DD/YY）
- LineItemDays（string）：星期模式（如 "-T-----"）
- LineItemRate（float）：每行项目成本（美元）
噪声管线
数据集采用基于 Augraphy 的18条噪声退化管线，模拟真实世界的扫描/打印伪影，分为两类：
Augraphy 预构建管线
| 管线名称 | 描述 |
|---|---|
| default | 平衡的通用退化 |
| archetype3 | 重度后期处理效果 |
| archetype4 | 最小几何扭曲 |
| archetype7 | 颜色与光照变化 |
| archetype9 | 纹理基退化 |
| archetype10 | 扫描仪伪影模拟 |
| archetype11 | 复杂多阶段管线 |
自定义管线（研究设计）
| 管线名称 | 模拟场景 |
|---|---|
| custom12 | 扫描仪滚轴伪影 |
| custom13 | 物理文档损坏（污渍+折叠） |
| custom14 | 墨水渗透与墨斑 |
| custom15 | 扫描/老化效果（波纹+色纸） |
| custom16 | 不均匀光照（阴影+渐变） |
| custom17 | 压缩伪影（JPEG+细微噪声） |
| custom18 | 对齐问题（几何+页面边框） |
| custom19 | 装订阴影 |
| custom20 | 复印质量（亮度+劣质复印） |
| custom21 | 叠加伪影（水印+噪声线条） |
| custom22 | 点阵打印（抖动+点阵） |
任务与用途
数据集被设计用于以下研究场景：
- 置信度校准研究：测量模型在不同程度文档退化下的置信度
- OCR鲁棒性评估：在真实噪声文档上基准测试OCR和KIE系统
- 文档理解：评估模型从发票中结构化信息抽取的能力（仅限评测/基准用途，不提供训练集拆分）
- 噪声影响分析：研究特定噪声类型对每个字段抽取准确性的影响
数据拆分
数据集仅包含 test 拆分，共 1,346条 样本。
来源数据
75份清洁的FCC发票源自 RealKIE-FCC-Verified 数据集，该数据集对原始 RealKIE 基准中的FCC发票子集进行了重新标注，修正了两个问题：
- 行项目分组：将原本独立处理的字段按行项目分组
- 标注修正：修正了原始标注中的错误值
在此基础上，使用 Augraphy 库以OCR安全的参数配置添加噪声增强，生成最多18种退化变体。
引用方式
bibtex @misc{islam2026confidencecalibration, title = {FCC Invoices Verified Augmented: A Benchmark for Confidence Calibration in Document Understanding under Noise}, author = {Md Mofijul Islam and Mohammad Rostami and others}, year = {2026}, note = {Dataset available at Hugging Face}, url = {https://huggingface.co/datasets/amazon/ConfBench} }
