opendatalab/SA-RxnDiagram-15k

U-RxnDiagram-15k数据集是一个大规模专门用于化学反应图解分析的数据集，包含从科学文献PDF文件中提取的化学反应图像以及详细的注释。该数据集旨在支持化学信息学、文档分析和计算机视觉领域的研究。

U-RxnDiagram-15k Dataset is a large-scale dataset specifically designed for chemical reaction diagram parsing, containing chemical reaction images extracted from scientific literature PDFs along with detailed annotations. This dataset aims to support research in cheminformatics, document analysis, and computer vision fields.

搜集汇总

数据集介绍

构建方式

在化学信息学与计算机视觉的交叉领域，SA-RxnDiagram-15k数据集为反应图解分析提供了结构化基准。其构建过程始于从科学文献PDF中系统性地提取化学反应图像，确保了数据源的专业性与多样性。随后，通过精细的标注流程，为每幅图像中的反应物、产物、条件等关键元素添加了边界框与类别标签，最终形成包含15,400张图像与逾16.5万标注实例的大规模对齐数据集。

特点

该数据集的核心特征在于其多层次、细粒度的标注体系。它不仅区分了结构、文本、标识符与补充信息四大类别，更在结构类别下进一步细分为反应物、产物与条件分子结构等属性。这种设计使得数据集能够精准刻画化学反应图解中的视觉与语义信息，为模型理解复杂的科学图示提供了丰富的监督信号。数据集中反应条件文本标注占比最高，凸显了对反应环境这一关键化学要素的重视。

使用方法

研究人员可通过加载标准COCO格式的标注文件，便捷地访问数据集的图像与对应标注。该数据集适用于化学结构识别、文本信息抽取及多模态学习等多种任务。在具体应用中，用户可依据标注中的类别与属性信息，训练或评估模型在反应图解解析上的性能，例如定位分子结构或理解反应条件文本，从而推动化学文献自动分析与智能理解技术的发展。

背景与挑战

背景概述

在化学信息学与科学文献数字化分析领域，高效解析化学反应图示是连接视觉信息与结构化知识的关键环节。SA-RxnDiagram-15k数据集由Sciverse科学数据基金会于2025年构建，作为其Sci-Align对齐数据层的重要组成部分，旨在应对从科学文献PDF中自动提取化学反应图示的复杂任务。该数据集包含15,400张图像及超过16万条精细标注，覆盖反应物、产物、条件等实体及其文本描述，为化学反应图示解析提供了大规模、高质量的基准资源，显著推动了化学视觉理解与多模态科学文档分析的研究进展。

当前挑战

该数据集致力于解决化学反应图示自动解析这一核心领域问题，其挑战在于图示中化学结构的多样性与文本信息的密集交织，要求模型具备精确的视觉实体识别与跨模态对齐能力。在构建过程中，研究人员面临从海量科学文献中提取高质量反应图示的困难，包括图像质量不一、标注需要高度专业化学知识以确保准确性，以及如何设计统一标注体系以涵盖结构、文本、标识符等多类别信息，这些挑战共同塑造了数据集的复杂性与应用价值。

常用场景

经典使用场景

在化学信息学与计算机视觉交叉领域，SA-RxnDiagram-15k数据集为化学反应图解析提供了关键资源。其经典应用场景在于训练和评估模型从科学文献的图表中自动识别与解析化学反应元素，包括反应物、产物及反应条件等视觉与文本信息。这一过程不仅涉及目标检测，还要求模型理解化学结构的空间布局与语义关联，从而实现对复杂反应图的高精度解析，为自动化化学知识提取奠定基础。

实际应用

在实际应用中，SA-RxnDiagram-15k数据集可赋能化学研究自动化流程。例如，在药物发现领域，它能辅助快速从海量文献中提取反应路径，优化合成路线设计；在化学教育中，可支持智能工具自动生成反应解释，提升学习效率；此外，在专利分析与企业研发中，该技术能高效挖掘竞争情报，识别潜在创新点，显著提升科研与工业生产的智能化水平。

衍生相关工作

围绕该数据集，已衍生出多项经典研究工作。例如，基于其多模态特性，研究者提出了视觉提示引导的化学反应描述生成模型，将图解析任务重构为描述生成问题；同时，在目标检测框架中，针对化学结构的细粒度识别进行了优化。这些工作不仅提升了反应图解析的准确率，还推动了化学人工智能模型向更通用、更可解释的方向演进，为后续大规模科学知识库的构建提供了技术支撑。