SciDocBench

Name: SciDocBench
Creator: 香港中文大学; 上海人工智能实验室; 纽约大学; 复旦大学; 上海交通大学; 哈尔滨工业大学; 京东探索研究院; 感知与交互智能中心有限公司
Published: 2026-09-04T21:39:48+08:00

arXiv2026-09-04 更新2026-09-08 收录

科学文档理解

科研文献智能处理

数据链接：

https://github.com/InternLM/SciDocBench 数据链接链接失效反馈

官方服务：

资源简介：

SciDocBench是由香港中文大学、上海人工智能实验室等机构联合构建的工作流中心基准数据集，旨在系统评估科学文档理解能力。该数据集包含124个经专家编写与难度筛选的问题，覆盖5个科学领域、7个能力组及19个子任务，每个问题配备双语变体与两种文档表示形式，衍生出496个评估实例。数据集创建过程严格遵循工作流真实性、证据保真度与可控变异、可验证结构三大原则，通过双轴评估协议隔离语言与表示敏感性。该基准聚焦于科研助手在证据定位、结构化信息提取、跨文档综合及对文档表示鲁棒性等方面的真实需求，为科学文档理解的诊断与训练提供统一框架。

SciDocBench is a workflow-centric benchmark dataset jointly constructed by institutions including The Chinese University of Hong Kong and Shanghai AI Laboratory, with the goal of systematically evaluating scientific document understanding capabilities. This dataset contains 124 expert-written and difficulty-filtered questions, spanning 5 scientific disciplines, 7 competency groups, and 19 subtasks. Each question is paired with bilingual variants and two document representation formats, yielding a total of 496 evaluation instances. The development of this dataset strictly adheres to three core principles: workflow authenticity, evidence fidelity and controllable variation, and verifiable structure. It adopts a dual-axis evaluation protocol to disentangle language and representation sensitivity. This benchmark focuses on the practical requirements of research assistants in key scenarios including evidence localization, structured information extraction, cross-document synthesis, and robustness to document representations, providing a unified framework for the diagnosis and training of scientific document understanding systems.

提供机构：

香港中文大学; 上海人工智能实验室; 纽约大学; 复旦大学; 上海交通大学; 哈尔滨工业大学; 京东探索研究院; 感知与交互智能中心有限公司

创建时间：

2026-09-04

原始信息汇总

SciDocBench 数据集概述

基本信息

数据集地址：https://github.com/InternLM/SciDocBench
全称：SciDocBench: A Workflow-Centered Benchmark and Data Pipeline for Scientific Document Understanding
作者：Shenxi Wu*, Yuhong Liu*, Haosong Zhang, Tongjin Zou, Yanxun Zhang, Gaochang Chen, Dun Liang, Jiaqi Wang, Zhecan James Wang, Yuhang Zang, Dahua Lin†（* 表示同等贡献，† 表示通讯作者）
当前状态：基准测试发布进行中；数据集即将发布（TODO）

数据集定位

SciDocBench 通过完整、基于证据的研究任务来评估科学文档理解能力。科学论文结合了文本、公式、图、表、附录、引用、代码和数据集，因此可靠的科研文档助手不仅要检索可见文本，还需定位证据、验证数值与逻辑关系、恢复科学结构、整合跨文档信息并产生可复用输出。

数据集规模与构成

124 个经人工设计并筛选难度的问题
7 个科学文档能力组，19 个子任务
5 个科学领域
2 种问题语言：英文与中文
2 种文档表示：All Images First（全部图像优先）与 Markdown Interleaved（Markdown 交错）
496 个匹配的评估实例
3 类评估器：基于规则、LLM-as-a-judge、基于执行

四种匹配设置

每个问题在四种匹配设置下实例化，同时保持任务语义与评估标准：

设置	问题语言	文档表示
EN-AF	英文	All Images First
EN-IL	英文	Markdown Interleaved
ZH-AF	中文	All Images First
ZH-IL	中文	Markdown Interleaved

能力分类体系

能力组	能力
A	文档感知与结构
B	科学信息抽取
C	证据对齐与验证
D	跨文档理解
E	重建与执行
F	论文-代码对齐
G	数据集理解

排行榜

总分基于全部 496 个评估实例计算，采用 0-100 分制，失败或不可用回答记为零分。

排名	模型	总分	EN-AF	EN-IL	ZH-AF	ZH-IL
1	Claude Opus 5	62.60	63.19	61.34	65.21	60.68
2	GPT-5.6-Sol	61.00	61.07	60.32	61.32	61.31
3	Gemini 3.6 Flash	59.87	59.19	62.98	59.68	57.61
4	Qwen3.8-Max	57.15	59.55	55.33	58.13	55.57
5	Qwen3.7-Plus	55.88	57.17	53.34	57.57	55.42
6	GPT-5.6-Terra	54.19	51.88	55.69	52.83	56.37
7	Claude Opus 4.8	53.41	53.63	52.43	54.13	53.46
8	Qwen3.8-27B	52.89	58.65	47.25	54.21	51.46
9	GPT-5.6-Luna	50.58	47.55	53.99	46.65	54.13
10	Kimi K2.5	50.38	54.74	45.42	55.04	46.33
11	Claude Sonnet 4.6	49.57	52.25	51.18	53.62	41.21
12	GLM-4.6V	42.44	43.30	46.70	38.21	41.56
13	Claude Haiku 4.5	40.35	38.18	42.72	38.33	42.16
14	MiMo-V2.5	40.16	42.26	39.26	44.66	34.46

排行榜关键结论：

Claude Opus 5 以 62.60 位居第一，GPT-5.6-Sol（61.00）和 Gemini 3.6 Flash（59.87）紧随其后
没有评估模型达到 63 分
能力领先者分布于不同模型家族，表明在某一科学文档技能上的强表现不会自动迁移到完整工作流
在 14 个评估模型中的 11 个上，文档表示带来的差距大于问题语言带来的差距

评估方式

SciDocBench 已集成至 VLMEvalKit（https://github.com/open-compass/VLMEvalKit），这是推荐的评估入口。在 VLMEvalKit 检出目录下运行：

bash python run.py --data SciDocBench --model <MODEL_NAME> --verbose

将 <MODEL_NAME> 替换为 VLMEvalKit 中注册的模型名。该命令执行推理与评估，并通过 VLMEvalKit 下载基准元数据。需根据 VLMEvalKit 文档配置所选模型和语义评判器所需的凭据。

发布计划

组件	状态
论文与基准描述	稿件就绪；arXiv 链接待发布
标准化评估	通过 VLMEvalKit 可用
SciDocBench 数据与文档资源	TODO
SciDocDataset SFT 与 RL 数据	TODO
SciDocIR 预处理与数据生成代码	TODO
详细复现文档	TODO

基准数据、训练数据和数据生成代码正在接受来源、许可和可复现性审核，之后公开发布。

引用

bibtex @article{wu2026scidocbench, title = {SciDocBench: A Workflow-Centered Benchmark and Data Pipeline for Scientific Document Understanding}, author = {Wu, Shenxi and Liu, Yuhong and Zhang, Haosong and Zou, Tongjin and Zhang, Yanxun and Chen, Gaochang and Liang, Dun and Wang, Jiaqi and Wang, Zhecan James and Zang, Yuhang and Lin, Dahua}, journal = {arXiv preprint}, year = {2026} }

许可

基准、文档资源和生成数据的许可证将在公开发布时指定。

致谢

感谢 VLMEvalKit 团队提供标准化评估框架。

搜集汇总

数据集介绍

构建方式

SciDocBench的构建遵循严谨的四阶段流程。首先，从arXiv、bioRxiv等渠道精选116篇富含图表、公式等科学对象的论文。其次，由领域专家基于真实的科研阅读活动编写候选问题，并经过独立的专家复核以确保科学性与无歧义性。随后，通过难度筛选环节，剔除所有强模型均能正确解答的简易问题，同时对高难度问题实施可答性与答案稳定性的人工审查。最终，通过受控增强过程，为每个问题生成中英文双语版本，并结合两种文档呈现方式，构成124个基础问题下的496个评估实例。

特点

SciDocBench的核心特色在于其以工作流为中心的设计理念，问题均植根于具体的科研任务。其双轴评估协议能够精细解耦并度量模型能力与对问题语言及文档呈现方式的敏感性，实现了对照分析的严谨性。基准覆盖了从文档感知、信息抽取到跨文档综合、代码对齐的七个能力维度，全面诊断模型的科研辅助能力。此外，所有问题均配套结构化的参考答案与适配的评分机制，确保了评估的客观性与可复用性。

使用方法

研究者可通过其官方GitHub仓库访问数据集与评估代码。使用时，依据需求选取特定领域或能力组的问题，并可采用全部或部分的评估设置进行测试。每项任务均明确了输入格式与输出规范，配合提供的评估脚本可自动化计算总体及分项得分。该基准不仅可用于模型能力的横向对比，其诊断结果亦可指导SciDocDataset的训练数据构建，形成从评估到训练的闭环，助力科研文档理解模型的迭代优化。

背景与挑战

背景概述

SciDocBench是由香港中文大学、上海人工智能实验室等多家机构于2026年联合构建的以工作流为中心的科技文档理解基准。该基准针对现有评测体系将文本、公式、图表、代码及数据溯源能力割裂评估的局限，精心设计了124道专家撰写且经难度筛选的双语题目，涵盖7大能力组、19个子任务及5个科学领域，通过双轴评测协议生成496个评测实例，系统衡量多模态模型在证据定位、结构化信息抽取、跨文档综合及输入表征鲁棒性等方面的真实科研辅助效能。

当前挑战

该领域首要挑战在于科学文档的异构结构，关键信息散布于文本、公式、图表等多种对象中，其语义解读紧密依赖版面布局与交叉引用；其次，实际科研任务往往需要组合式与跨文档推理，从定位论断、识别证据到核对数值一致性及追踪代码数据溯源环环相扣；此外，构建过程克服了论文模板差异、视觉与语义解析对齐困难及可验证训练数据规模化生成等障碍，在保证问题科学意义与答案唯一性的同时，通过规范化的SciDocIR表示实现了可控的样本构建与严格的质量筛选。

常用场景

经典使用场景

SciDocBench作为一项以工作流为中心的基准测试，其最经典的使用场景在于对多模态大语言模型（LLMs）进行科学文献理解能力的系统性评估。该基准通过精心设计的124道专家撰写且经过难度筛选的问题，覆盖七个能力组、十九个子任务及五大科学领域，深入考察模型在证据定位、结构化信息提取、跨文档综合以及文档表征鲁棒性等方面的表现。其双轴评估协议（语言与文档表示）进一步使得研究社区能够精确区分模型的内在能力与对输入呈现方式的敏感性，为全面剖析模型在科学阅读工作流中的实际效能提供了标准化的评测平台。

衍生相关工作

围绕SciDocBench，衍生了一系列构建于其框架之上的重要工作与资源。核心衍生品包括SciDocIR，一种规范化的科学文档对象表征，统一了视觉与语义层面的文档结构、布局及交叉引用信息；以及基于SciDocIR构建的SciDocDataset，包含约15K监督微调样本与8K强化学习样本，覆盖14个可验证子任务。上述资源将基准的诊断能力转化为可扩展的训练信号，推动了科学文档理解领域的评估到训练的闭环研究。此外，其提出的专家审核、难度筛选与双轴评估协议也为后续多模态学术基准的构建树立了方法论参考。

数据集最近研究