DR.DOCBENCH

DR.DOCBENCH是由2077AI等多家顶尖学术机构联合创建的一个专家级、难度感知的文档解析基准数据集，旨在全面评估视觉语言模型在处理复杂文档时的真实能力。该数据集基于大规模多语种书籍语料库构建，涵盖52个BISAC学科领域，包含4,514个经过精细标注的页面，总计约70,000个块级别注释，数据主要来源于平均长度约100页的长文档，并通过基于解析器失败案例的采样策略聚焦于具有挑战性的内容。其创建过程采用难度感知的筛选流程，结合多解析器分歧度分析，并引入领域专家对化学结构、音乐乐谱、复杂表格等专业视觉内容进行高质量标注，确保了数据的可靠性与专业性。该数据集主要应用于文档智能领域，致力于解决现有基准在覆盖范围、难度及专家级结构（如化学公式、音乐符号和跨页面布局）解析方面的不足，为诊断和推进文档理解系统的性能提供了全面的测试平台。

DR.DOCBENCH is an expert-level, difficulty-aware document parsing benchmark dataset jointly created by 2077AI and multiple top-tier academic institutions, aiming to comprehensively evaluate the real-world capabilities of vision-language models when handling complex documents. Built upon a large-scale multilingual book corpus, this dataset covers 52 BISAC subject domains, includes 4,514 meticulously annotated pages with approximately 70,000 block-level annotations in total. The data is primarily sourced from long documents with an average length of around 100 pages, and adopts a sampling strategy based on parser failure cases to focus on challenging content. Its development adopts a difficulty-aware screening workflow, integrates multi-parser disagreement analysis, and invites domain experts to conduct high-quality annotations on professional visual contents such as chemical structures, musical scores, and complex tables, thereby ensuring the reliability and professionalism of the dataset. This dataset is mainly applied in the field of document intelligence, aiming to address the limitations of existing benchmarks in terms of coverage, difficulty level, and parsing of expert-level structures including chemical formulas, musical symbols and cross-page layouts, providing a comprehensive testbed for diagnosing and advancing the performance of document understanding systems.

搜集汇总

数据集介绍

构建方式

DR.DOCBENCH的构建源于一个大规模多语言书籍语料库，依据BISAC主题分类法覆盖52个学科领域。为确保标注聚焦于真正具有挑战性的案例，研究者设计了一种基于解析器失败的采样流水线：首先利用三款当前顶尖的文档解析系统（PaddleOCR-VL-1.5、MinerU-VLM和Gemini-3.1-pro-preview）对候选文档进行独立解析，通过计算解析输出间的归一化编辑距离来量化跨解析器分歧程度。高分歧度的页面（即多个现有系统均难以准确处理的页面）被保留，并经过专家级人工标注，最终形成了包含4,514页、约7万条细粒度标注的高质量基准数据集。

特点

该基准数据集的核心特色在于其难度感知与专家领域覆盖的双重设计。它不再局限于常见文档类型，而是通过解析器失效采样策略，精选出那些让前沿系统普遍“折戟”的困难页面，从而真实反映模型在长尾分布上的能力短板。数据集提供了页面级与块级别的精细标注，涵盖布局、阅读顺序、层级关系以及化学结构图、乐谱、公式等专家领域内容。更值得一提的是，数据集中的文档平均篇幅约100页，为评估模型在跨页连续性和长文档结构理解方面的能力提供了独特视角。

使用方法

DR.DOCBENCH可用于全面诊断和评估视觉语言模型与文档解析系统在专家级文档理解上的表现。用户可将其作为标准化评测基准，对专用解析器（如MinerU、PaddleOCR）和通用多模态大模型（如GPT系列、Gemini等）进行端到端的性能对比。评测任务包括文本识别、阅读顺序预测、表格与公式解析、以及乐谱转录等。数据集提供的分级标注支持从页面、块到属性的多层次错误分析，帮助研究人员精准定位模型在不同学科领域、内容类型和结构属性上的失败模式，从而为文档智能的下一步发展提供明确方向。

背景与挑战

背景概述

在视觉语言模型与文档处理系统蓬勃发展的当下，文档解析与识别作为其核心基础能力备受瞩目。然而，已有基准测试如OCRBench与OmniDocBench等，多聚焦于常见文档类型或均匀采样页面，在化学结构式、乐谱、复杂表格及跨页布局等专家领域内容上标注匮乏，且模型表现已趋近饱和。为填补这一评估空白，来自2077AI、斯坦福大学、麻省理工学院等多家机构的研究人员于2026年共同构建了DR.DOCBENCH。该基准测试基于大规模多语种书籍语料，横跨52个BISAC主题领域，通过解析器失败驱动采样精选困难文档，包含4,514页精细标注及70,000条块级标注，全面覆盖布局、阅读顺序、层级关系及领域特有视觉内容。其发布为诊断和推进文档智能研究提供了极具挑战性的综合性测试平台。

当前挑战

DR.DOCBENCH所应对的挑战具有双重性。首先，在领域问题上，其解决的不仅是通用文档解析，更是对专家级复杂文档的解构难题。现有模型在散文类文本上表现良好，却难以应对参考文献、音乐乐谱、化学图示、密集公式及复杂表格等结构繁复、排版特殊的主题，暴露出模型在结构理解与领域知识上的根本性局限。其次，在构建过程中，团队面临显著挑战：需从海量多领域书籍中，利用多解析器分歧度算法精准筛选出当前最先进系统共同失败的样本，确保基准的难度导向性；同时，为化学、音乐等高专业度内容设计统一且机器可读的标注规范，并组织硕士博士级领域专家进行审核校对，以确保标注质量。这些挑战共同塑造了该基准的严格性与独特性。

常用场景

经典使用场景

在视觉语言模型与文档处理系统的研究中，DR.DOCBENCH的核心应用场景在于对专家级复杂文档进行解析与结构重建。相较于传统OCR基准测试多聚焦于均匀采样或常见体裁的文档页面，该基准通过解析器失败驱动的采样策略，精选出那些即使是最前沿的文档解析系统也频繁出错的挑战性页面。这些页面涵盖化学分子式、音乐乐谱、密集数学公式、复杂表格以及跨页布局等专业领域视觉内容，从而为评估模型在真实世界中长尾、高难度文档上的感知与理解能力提供了一个严苛且全面的测试场。

衍生相关工作

DR.DOCBENCH的发布预期将催生一系列重要的衍生研究工作。一方面，它将直接推动针对特定专家领域（如化学、音乐）的专用解析模型的研发，例如结合图神经网络处理化学结构或设计端到端的光学乐谱识别模型。另一方面，该基准揭示的模型在长序列、跨页阅读顺序及复杂表格等方面的系统性失败，将激励学术界探索新的视觉语言模型架构，例如改进的多尺度注意力机制或更有效的长上下文理解策略。此外，该基准所采用的解析器分歧采样与专家领域标注方法论，也为未来构建更具挑战性的多模态理解基准提供了典范，从而形成一个从诊断到改进再到评估的良性循环，持续驱动文档智能领域向前演进。

数据集最近研究

最新研究方向

当前，DR.DOCBENCH数据集引领文档解析研究迈向专家级与困难样本的前沿方向。其核心创新在于通过基于解析器失败率的采样策略，精准聚焦于现有顶尖系统普遍失效的复杂文档——涵盖化学结构、乐谱、密集公式及跨页表格等专业领域内容。该基准揭示了当前视觉语言模型在长尾学科（如参考书、设计、医学及音乐）上的系统性缺陷，证明常规基准的优异表现无法迁移至专家级文档解析。这一发现深刻动摇了业界对模型能力的乐观认知，为诊断与推动文档智能向专业化、结构化深度发展树立了关键标尺。

相关研究论文

• Dr. DocBench: A Comprehensive Benchmark for Expert-Level and Difficult Document Parsing

  2077AI; 斯坦福大学; 麻省理工学院; 卡内基梅隆大学; 南加州大学; 哈佛大学; IBM研究院; 亚利桑那大学; 杜克大学; 加州大学伯克利分校; 慕尼黑大学 · 2026年