FigAgent-5K / FigAgent-Corpus

FigAgent-5K 和 FigAgent-Corpus 将科学论文的 Markdown 文本与可编辑的 DrawIO 文档及渲染后的 PNG 图像配对。这些表示支持科学图形的生成、编辑、理解以及绘图组件的复用。FigAgent-5K 包含 5,000 篇经过去重、结构筛选和语义过滤精选的论文；FigAgent-Corpus 提供更大规模的科学论文可编辑图表集合。具体统计为：FigAgent-5K 有 5,000 篇论文、7,170 个 DrawIO 文档、7,681 个渲染 PNG 页面；FigAgent-Corpus 有 48,500 篇论文、153,143 个 DrawIO 文档、207,209 个渲染 PNG 页面。每篇论文文件夹以 arXiv ID 命名，包含 paper.md、drawio/diagram.drawio 和 images/diagram_p001.png 等 PNG 图像。PNG 文件名与 DrawIO 主干名匹配，并包含渲染页面索引，一个 DrawIO 文档可以有多个页面。论文来源自 arXiv，可编辑图表被恢复并渲染后与论文文本配对；完整性检查生成 FigAgent-Corpus，额外去重和质量筛选生成 FigAgent-5K。

原始信息汇总

FigAgentBenchmark 数据集概述

基本信息

• 数据集详情页：https://github.com/zhuolingli/FigAgentBenchmark
• 关联论文：Automatic Method Illustration Generation for AI Scientific Papers via Drawing Middleware Creation, Evolution, and Orchestration
• 论文链接：https://arxiv.org/abs/2603.29590
• 包含集合：FigAgent-5K、FigAgent-Corpus

数据集概述

FigAgent-5K 和 FigAgent-Corpus 将科学论文 Markdown 与可编辑 DrawIO 文档和渲染 PNG 图像配对。这些表示支持科学图生成、编辑、理解以及绘图组件复用。

FigAgent-5K 包含 5,000 篇经过去重、结构筛选和语义过滤的精选论文。FigAgent-Corpus 提供更大的科学论文可编辑图集合。

数据集规模

集合	论文数	DrawIO 文档数	渲染 PNG 页面数	TAR 分片数	归档大小
FigAgent-5K	5,000	7,170	7,681	4	8.15 GB（7.59 GiB）
FigAgent-Corpus	48,500	153,143	207,209	63	133.95 GB（124.75 GiB）

下载资源

集合	Google Drive	百度网盘
FigAgent-5K	https://drive.google.com/drive/folders/1UJHgOX6-kbPtGBjqMMbB587NQNo1w7H4	https://pan.baidu.com/s/1tomjm8H9aMczEc-K2nUiOw?pwd=rxv9 （提取码：rxv9）
FigAgent-Corpus	https://drive.google.com/drive/folders/1vKXFKnVKzLLUC1PeO-1mfhq1uhouPNHk	https://pan.baidu.com/s/1tomjm8H9aMczEc-K2nUiOw?pwd=rxv9 （提取码：rxv9）

数据结构

每个论文文件夹以 arXiv ID 命名：

text <arxiv_id>/ ├── paper.md ├── drawio/ │ └── diagram.drawio └── images/ ├── diagram_p001.png └── diagram_p002.png

PNG 文件名与 DrawIO stem 匹配，并包含渲染页索引。一个 DrawIO 文档可以有多页。

数据采集

论文来源从 arXiv 收集。可编辑图被恢复并渲染，然后与论文文本配对。完整性检查产生 FigAgent-Corpus，额外去重和质量筛选产生 FigAgent-5K。

自建数据集流程

• 使用阶段运行器为选定论文范围和输出目录收集并准备数据集。
• Linux 上需安装 DrawIO Desktop、Xvfb、DBus、Pandoc。
• 配置中 collection.from_month 和 collection.to_month 使用 YYMM 格式，从新到旧；在 paths 下选择工作与输出目录。
• 默认采集工作流从 s3://arxiv/src/（us-east-1）下载源归档。需要启用计费的 AWS 账户和可访问该桶的凭据。arXiv 使用 Requester Pays：请求和下载费用计入 AWS 账户。
• 安装 AWS CLI v2，并配置命名 profile。需要 IAM 权限：s3:ListBucket 作用于 arn:aws:s3:::arxiv，限制 s3:prefix 为 src/*；s3:GetObject 作用于 arn:aws:s3:::arxiv/src/*。
• 采集脚本使用标准 AWS 凭据链，并自动提供 Requester Pays 标志。保持 AWS_PROFILE 在运行管道的 shell 中设置。在 EC2 上，具备相同权限的实例 IAM 角色可直接提供凭据。凭据存储在 AWS profile 或环境中，位于仓库外。
• 阶段包括：collect、recover、render、text、export、validate。默认从小运行开始；在 collect、recover、render、text 中添加 --full 以处理配置范围。每次收集使用新的导出目录。结果数据集的论文文件夹包含 paper.md、drawio/ 和 images/。
• 可选质量筛选：安装 quality 依赖并使用支持 CUDA 的 GPU。运行 curate 后，导出 selected 并验证 selected。selected 输出使用已收集论文，其目标由 paths.release_selected 配置。

下载与使用

• 使用 Python 3.11 或更新版本。
• 以可编辑模式安装 Python 包。
• 从任一镜像下载所选集合的每个 TAR 分片。每个下载文件夹仅包含数据分片。
• 将所有分片解压到同一集合目录。每篇论文保留在一个分片内，包含 paper.md、drawio/*.drawio 和 images/*.png。
• 读取器会枚举论文文件夹，并按文件名将 PNG 页面与 DrawIO 文档匹配。

许可与引用

• 采集和策展代码在 MIT license 下发布。
• 论文文本和图资产保留原始源许可和作者权利。

bibtex @inproceedings{li2026figagent, title={Automatic Method Illustration Generation for {AI} Scientific Papers via Drawing Middleware Creation, Evolution, and Orchestration}, author={Li, Zhuoling and Zhang, Jiarui and Hu, Ping and Kuen, Jason and Gu, Jiuxiang and Rahmani, Hossein and Liu, Jun}, booktitle={Computer Vision -- ECCV 2026}, series={Lecture Notes in Computer Science}, volume={17059}, pages={530--548}, publisher={Springer}, year={2026}, doi={10.1007/978-3-032-37086-0_29}, url={https://doi.org/10.1007/978-3-032-37086-0_29} }

搜集汇总

数据集介绍

构建方式

在科学论文图表自动生成与可编辑绘图资源研究语境中，FigAgent-Corpus以arXiv论文为原始语料，经由采集、恢复、渲染、文本对齐与完整性校验等流程形成。采集阶段获取论文源文件，恢复阶段从论文材料中提取可编辑DrawIO图表，渲染阶段将多页DrawIO文档转换为PNG页面，文本阶段将图表与论文Markdown配对。完整性检查用于确认论文、DrawIO文档与渲染页面之间的对应关系，进而汇成Corpus；若再执行去重与质量筛选，则得到FigAgent-5K。该流程亦可通过仓库中的pipeline复现与扩展。

使用方法

在实际使用中，研究者可从Google Drive或百度网盘下载FigAgent-Corpus的全部63个TAR分片，并将其解压至同一集合目录；每篇论文完整保留在单一分片内，解压后得到paper.md、drawio/*.drawio与images/*.png。环境需Python 3.11或更新版本，执行pip install -e .安装依赖，再运行examples/read_dataset.py读取数据；该脚本枚举论文文件夹，并依据文件名将PNG页面与DrawIO文档匹配。若需自建或扩展数据集，可配置采集范围、AWS访问与输出路径，调用run_pipeline.py依次执行collect、recover、render、text、export和validate等阶段。

背景与挑战

背景概述

在AI科学论文自动方法图生成、编辑与复用逐渐成为多模态科学文档研究重要方向的背景下，FigAgent-Corpus于2026年随ECCV论文《Automatic Method Illustration Generation for AI Scientific Papers via Drawing Middleware Creation, Evolution, and Orchestration》发布，作者包括Zhuoling Li、Jiarui Zhang、Ping Hu、Jason Kuen、Jiuxiang Gu、Hossein Rahmani与Jun Liu。该数据集面向科学论文文本与可编辑矢量图之间的跨模态配对问题，将arXiv论文Markdown、DrawIO文档与渲染PNG图像关联，包含约48,500篇论文、153,143份DrawIO文档和207,209页PNG图像，支撑科学图示生成、编辑、理解及绘图组件复用研究，并为自动方法插图生成任务提供大规模资源基础。

当前挑战

科学论文方法示意图生成的核心难题在于从论述性文本推断图形语义、层级与连接关系，并输出可编辑、可复用的结构化矢量图，而非仅生成静态图像，这要求模型同时处理文本理解、布局规划、组件选择与跨模态对齐。构建FigAgent-Corpus亦面临多重工程与数据治理挑战：从arXiv批量采集需应对Requester Pays计费与权限配置；恢复和渲染DrawIO文档依赖DrawIO Desktop、Xvfb、DBus与Pandoc等环境；多页DrawIO与PNG需按文件名和页码精确匹配；完整性检查、去重、结构筛选、语义过滤与质量筛选则需在数十万文档规模上维持一致性与可追溯性。

常用场景

经典使用场景

在科学论文方法图示加速走向自动化与可编辑化的研究语境中，FigAgent-Corpus 的经典用途在于将论文 Markdown 文本、可编辑 DrawIO 文档与渲染 PNG 页面进行跨模态对齐，为方法流程图生成、图示编辑、视觉理解与绘图组件复用提供统一语料。研究者可按 arXiv ID 定位论文，读取 drawio 与 images 中同源页面，进而训练或评测从文本到图示、从图示到绘图代码、图元检索与版式重排等任务；其多页 DrawIO 结构亦使复杂方法图的层次化建模成为可能。

解决学术问题

面对科学图表自动生成中长期存在的高质量配对语料稀缺、矢量结构监督缺失以及文本语义与视觉版式难以对齐等学术难题，FigAgent-Corpus 以大规模论文文本、可编辑 DrawIO 与渲染图像三元配对构建监督基础，缓解数据瓶颈。该数据集使模型能够学习论文语义到绘图中间件的映射关系，并为评估生成图的结构合理性、视觉一致性与可编辑性提供依据，推动方法图示生成从像素拟合迈向可解释、可编辑与可复用的研究范式。

实际应用

立足科研写作、论文投稿与人工智能辅助制图的实际需求，FigAgent-Corpus 可服务于方法章节配图自动生成、已有绘图组件检索与复用、DrawIO 文档编辑与 PNG 预览导出、多页技术路线图整理等场景。科研人员可借助其配对语料训练写作助手，依据论文正文生成或补全方法图；出版与教学场景亦可构建图表资产库，用于规范表达、快速改绘和跨论文复用，进而提升科研绘图效率与视觉传达质量。

数据集最近研究

最新研究方向

在科学论文自动可视化与多模态文档理解交汇处，FigAgent-Corpus 所支撑的研究正转向以可编辑 DrawIO 为中间表征的方法插图自动生成与编排。该数据集将 arXiv 论文 Markdown 与 4.85 万篇论文对应的 15.3 万余份 DrawIO 文档及 20.7 万余张渲染 PNG 配对，使文本到图、图到代码、组件复用与跨页理解形成闭环。其前沿方向涵盖绘图中间件的创建、演化与编排，科学图表生成的可控编辑，以及从论文语义到方法示意图的结构化映射。ECCV 2026 相关论文与 arXiv 批量采集流程构成热点背景，为 AI4Science 场景下可解释、可复用的科研图示生产提供规模化基准，亦推动科学传播与学术写作自动化。