RxnBench

RxnBench是一个用于有机化学图像/PDF视觉问答的博士级基准套件，分为两部分：RxnBench(SF-QA)用于化学反应图理解，包含基于305个同行评审的化学反应图构建的1,525个中英文选择题；RxnBench(FD-QA)用于化学反应文献的多模态理解，包含540个中英文多选问题。该基准发布了英文和中文版本。

RxnBench is a doctoral-level benchmark suite for visual question answering on organic chemistry images and PDFs. It consists of two components: RxnBench (SF-QA) for chemical reaction diagram understanding, which contains 1,525 multiple-choice questions in both Chinese and English constructed from 305 peer-reviewed chemical reaction diagrams; RxnBench (FD-QA) for multimodal understanding of chemical reaction literature, which includes 540 multiple-choice questions in both Chinese and English. This benchmark is released in both English and Chinese versions.

原始信息汇总

RxnBench数据集概述

数据集基本信息

• 数据集名称：RxnBench: Benchmark for Chemical Reaction Figure/Document Understanding
• 发布者：UniParser Team
• 发布年份：2025
• 许可证：详见LICENSE文件
• 访问地址：
  • RxnBench (SF-QA)：https://huggingface.co/datasets/UniParser/RxnBench
  • RxnBench (FD-QA)：https://huggingface.co/datasets/UniParser/RxnBench-Doc

数据集构成与内容

RxnBench是一个面向有机化学的博士级图像/PDF视觉问答基准测试套件，包含两个部分：

1. RxnBench (SF-QA)

• 任务类型：化学反应图理解
• 数据规模：包含1,525道英文/中文选择题
• 数据基础：基于305张经过同行评审的化学反应图构建
• 访问地址：https://huggingface.co/datasets/UniParser/RxnBench

2. RxnBench (FD-QA)

• 任务类型：化学反应文献的多模态理解
• 数据规模：包含540道英文/中文多选题
• 理解层次：文档级化学反应理解
• 访问地址：https://huggingface.co/datasets/UniParser/RxnBench-Doc

语言版本

该基准测试同时提供英文和中文版本。

数据文件说明

RxnBench-Doc (FD-QA) 特别说明

• PDF文件：由于法律考虑，文档评估所需的实际PDF文件未包含在数据集中，需用户自行收集准备。
• 准备步骤：
  1. 通过数据集中每个问题的pdf_doi字段识别所需PDF。
  2. 从学术数据库或出版商处下载PDF。
  3. 按指定目录结构组织文件，将pdf_doi中的"/"替换为"_"作为PDF文件名。
• 图像文件：需从 https://huggingface.co/datasets/UniParser/RxnBench-Doc/resolve/main/images.zip 下载并解压。

引用信息

bibtex @misc{rxnbench2025, title={RxnBench: A Benchmark for Chemical Reaction Figure Understanding}, author={UniParser Team}, year={2025}, publisher={GitHub}, url={https://github.com/uni-parser/RxnBench} }

搜集汇总

数据集介绍

构建方式

在有机化学领域，反应机理与合成路径的可视化表达构成了学术交流的核心载体。RxnBench数据集的构建过程体现了对化学文献深度解析的系统性努力，其基础来源于305幅经过同行评审的化学反应图示，这些图示均选自高质量的学术出版物。研究团队通过专业标注，从每幅反应图中提炼出关键化学概念，进而设计出1525道涵盖英文与中文的多选题，形成了针对单图理解的基准测试。同时，为推进文档级多模态理解，该数据集进一步整合了化学文献全文，依据文献中的反应描述与图示对应关系，构建了540道多选题目，从而实现了从微观图示到宏观文献的跨层次评估体系。

特点

RxnBench的显著特征在于其设计的双重评估维度与跨语言支持。该数据集不仅专注于化学反应图示的视觉问答，还拓展至包含完整学术文献的多模态理解，从而全面考察模型在化学领域的细粒度认知与综合推理能力。题目设置严格遵循化学学科的知识体系，确保了评估内容具有较高的专业性与学术深度。同时，数据集提供了完全平行的英文与中文版本，这为评估多语言大模型在专业科学领域的性能创造了条件，也促进了跨语言化学信息处理研究的发展。

使用方法

使用RxnBench进行评估需遵循其提供的标准化流程。评估者首先需配置Python环境并获取相应的API密钥以驱动模型推理。对于单图理解任务，可直接加载已提供的图像与问题数据进行推理与评分。而对于文档级评估，用户需依据数据集中的数字对象标识符自行获取对应的原始PDF文献，并按指定目录结构进行组织，随后运行专用脚本以启动评估。该流程最终会生成包含原始预测、处理后的结果以及按题型分类的准确率统计在内的详细输出文件，为系统性能分析提供了结构化数据支持。

背景与挑战

背景概述

在化学信息学与人工智能交叉领域，化学文献中蕴含的丰富反应图示与文档信息是知识挖掘的关键。RxnBench数据集由UniParser团队于2025年创建，旨在为有机化学领域的图像与文档视觉问答提供博士级别的评估基准。该数据集聚焦于化学反应图示理解与文献级多模态理解两大核心研究问题，通过构建涵盖中英文的数千道多项选择题，推动化学文档智能解析技术的发展，并为多模态大模型在专业科学领域的应用提供了重要评测工具。

当前挑战

RxnBench数据集致力于解决化学文献中复杂反应图示与文档的多模态理解问题，其挑战在于模型需精准解析专业化学结构、反应机理及上下文语义。构建过程中，数据采集面临专业化学图示标注难度高、多语言平行语料对齐复杂，以及受限于学术版权，原始PDF文档需用户自行获取与处理，这增加了数据完整性与评估一致性的保障难度。

常用场景

经典使用场景

在化学信息学领域，RxnBench数据集作为博士级别的有机化学图像与文档视觉问答基准，其经典使用场景聚焦于评估多模态模型对化学反应图示的理解能力。该数据集通过构建基于同行评审化学反应图的英语和中文多项选择题，为研究者提供了一个标准化的测试平台，用以衡量模型在解析复杂化学结构、反应机理及条件标注等方面的视觉推理性能。这一场景不仅推动了化学文档智能解析技术的发展，也为跨语言化学知识表示研究奠定了实证基础。

衍生相关工作

围绕RxnBench数据集，已衍生出一系列经典研究工作，特别是在化学多模态模型架构设计与评估方法创新方面。例如，基于该基准的视觉语言模型微调策略研究，推动了化学领域专用预训练模型的发展；同时，针对其文档级问答任务提出的跨模态对齐方法，为处理化学PDF文档中的图文异构信息提供了新思路。这些工作不仅拓展了化学人工智能的研究边界，也为后续构建更复杂的化学知识推理基准奠定了方法论基础。

数据集最近研究

最新研究方向

在化学信息学领域，随着多模态人工智能技术的快速发展，RxnBench数据集的推出为有机化学反应图像与文档理解设立了新的评估标准。该数据集聚焦于化学反应图理解与文献级多模态理解两大前沿方向，通过构建涵盖中英文的博士级多选题库，精准评估模型在复杂化学视觉问答任务中的性能。当前研究热点紧密关联化学文献自动化解析与智能合成路线设计，旨在推动跨语言、跨模态的化学知识表示学习，对加速药物发现与材料科学创新具有深远意义。