SUPERChem

SUPERChem是一个具有挑战性的、由专家策划的多模态基准测试数据集，旨在严格评估大型语言模型（LLMs）和多模态大型语言模型（MLLMs）的化学推理能力。该数据集包含500个推理密集型问题，支持多模态和纯文本两种格式，并引入了推理路径保真度（RPF）作为评估指标。数据集还具有抗污染性，问题来源于非公开资源或新创作，以减少数据泄露风险。

原始信息汇总

SUPERChem数据集概述

数据集基本信息

• 数据集名称: SUPERChem
• 发布平台: Hugging Face
• 创建者: Zehua Zhao 等
• 许可协议: MIT
• 语言: 英语 (en)、中文 (zh)
• 任务类别: 问答 (question-answering)
• 数据规模: 小于1K样本 (n<1K)
• 标签: 化学 (chemistry)、多模态 (multimodal)、推理 (reasoning)、基准测试 (benchmark)、STEM

核心描述

SUPERChem是一个具有挑战性的、由专家策划的多模态基准测试，旨在严格评估大型语言模型和大型多模态语言模型的化学推理能力。

主要特性

• 专家级挑战: 包含500个由领域专家策划的推理密集型问题，用于测试深度化学推理，并缓解其他基准测试中观察到的天花板效应。
• 受控多模态性: 每个问题均提供多模态和纯文本两种格式，支持对模型整合视觉信息能力进行严格的受控分析。
• 过程级评估: 引入了推理路径保真度指标，用于评估模型的推理过程与专家撰写的解决方案路径的一致性，以区分真正的理解与“幸运猜测”。
• 细粒度能力分类: 对化学知识和推理技能进行了系统分类，支持详细诊断模型在各个子领域的优势和弱点。
• 抗污染性: 问题为新创作或改编自非公开来源，并经过严格的人工参与策划流程，以确保质量并降低从网络抓取训练集导致数据泄露的风险。

相关资源

• 官方网站: https://superchem.pku.edu.cn
• 论文: https://arxiv.org/abs/2512.01274
• 代码仓库: https://github.com/catalystforyou/SUPERChem_eval
• PDF预览版数据: 数据集提供了PDF格式的预览版本（SUPERChem-500.zip），解压密码为SUPERChem2025。

更新与反馈

• 最新更新 (2025-12-06): 发布了英语和中文的PDF版本数据集，便于预览和人工检查。
• 反馈渠道: 欢迎通过Hugging Face的社区讨论板块提供反馈和修正建议。

引用信息

若在研究中使用SUPERChem数据集或评估框架，请引用提供的论文。

搜集汇总

数据集介绍

构建方式

在化学领域，构建高质量的评估基准对于推动人工智能模型在科学推理方面的发展至关重要。SUPERChem数据集的构建采用了专家主导的严谨流程，由领域专家精心策划了500个推理密集型问题，这些问题或为新创作，或改编自非公开来源，有效避免了网络爬取训练集可能带来的数据泄露风险。每个问题均提供多模态与纯文本两种格式，确保了模态控制的严谨性。构建过程中还引入了人工参与循环的验证机制，以保障问题质量与解答路径的准确性，从而为模型评估奠定了可靠基础。

特点

SUPERChem数据集展现出多方面的显著特点，其核心在于提供专家级别的挑战性，通过深度化学推理问题有效缓解了其他基准中常见的性能天花板效应。数据集设计了可控的多模态形式，支持对模型整合视觉信息能力进行严格分析。创新性地引入了推理路径保真度指标，能够评估模型推理过程与专家解决方案的对齐程度，区分真实理解与偶然猜测。此外，数据集还配备了细粒度的能力分类体系，系统覆盖化学知识与推理技能的不同子领域，为模型性能的详细诊断提供了结构化框架。

使用方法

使用SUPERChem数据集时，研究者可将其作为评估大型语言模型与多模态大语言模型化学推理能力的基准工具。具体而言，可利用其提供的多模态与文本格式问题，分别测试模型在整合视觉信息与纯文本推理方面的表现。通过应用数据集附带的推理路径保真度指标，可以对模型生成的推理链条进行定量评估，深入分析其逻辑一致性。同时，借助其细粒度的能力分类，能够系统性地诊断模型在不同化学子领域中的优势与薄弱环节，从而为模型的针对性改进提供明确方向。

背景与挑战

背景概述

在人工智能与化学交叉研究领域，评估模型对复杂科学概念的理解与推理能力一直是核心挑战。SUPERChem数据集于2025年由北京大学等机构的研究团队创建，旨在为大型语言模型及多模态大语言模型提供一个严谨的化学推理基准。该数据集聚焦于深度化学推理能力的评估，通过专家精心设计的500道问题，系统考察模型在化学知识整合、多模态信息处理及逻辑推演等方面的表现，旨在弥补现有基准中存在的天花板效应，推动化学智能向更高层次的认知能力发展。

当前挑战

SUPERChem所针对的领域挑战在于化学推理本身的高度专业性与复杂性，要求模型不仅掌握广泛的化学事实，还需具备跨概念关联、空间想象及过程推演的能力。数据构建过程中，团队面临确保问题新颖性以避免训练数据污染的挑战，需从非公开来源改编或全新创作题目。同时，引入多模态与纯文本双版本以实现受控对比，并设计“推理路径保真度”这一过程级评估指标，均对题目的精细标注与专家验证流程提出了极高要求，体现了在高质量科学基准构建中平衡严谨性与可扩展性的持续努力。

常用场景

经典使用场景

在化学人工智能领域，SUPERChem数据集作为一项专家级的多模态推理基准，其经典使用场景聚焦于评估大型语言模型与多模态大语言模型在化学问题中的深度推理能力。该数据集通过提供500个由领域专家精心设计的推理密集型问题，涵盖了从分子结构解析到反应机理推断的复杂任务，并以文本与视觉信息相结合的形式呈现，为研究者构建了一个可控的对比实验环境，用以系统检验模型在整合化学知识、视觉线索与逻辑推理方面的综合表现。

解决学术问题

SUPERChem的构建旨在解决当前化学人工智能评估中存在的关键学术问题，特别是模型表现的天花板效应与数据污染风险。通过引入专家级难题与严格的防泄漏设计，该数据集有效区分了模型的真实理解能力与偶然猜测，其提出的“推理路径保真度”指标，为评估模型推理过程与专家解决方案的对齐程度提供了量化工具，从而推动了对于模型化学推理机制的本质性研究，弥补了传统基准在深度、可控性与诊断粒度上的不足。

衍生相关工作

围绕SUPERChem数据集，已衍生出一系列旨在提升模型化学推理能力的经典研究工作。这些工作主要沿着两个方向展开：一是开发新型的评估框架与指标，例如基于其“推理路径保真度”思想进行扩展，以更精细地量化模型的多步推理质量；二是催生了针对性的模型训练与微调方法，研究者们利用该数据集的挑战性问题，训练模型专注于整合文本描述与分子结构图等视觉信息，从而推动了化学领域多模态推理模型的算法进步与性能突破。