matter-to-mechanism

Matter to Mechanism 是一个专家整理的包含 2,645 个问题-假设对的结构化数据集，这些数据对来自材料科学和电化学领域的同行评议文献。每个条目将一个明确表述的研究问题与其对应的科学假设联系起来，包含逐步推理链、提出的干预措施、机制原理和目标属性。该数据集是 BatteryHypoBench 的基础，这是一个用于评估 AI 共同科学家系统在科学假设生成方面的多维基准，不仅测量表面流畅性，还测量机制深度、推理连贯性和物理合理性。数据集包含 20 个结构化字段，如问题陈述、假设、推理步骤、机制解释等。数据集适用于共同科学家基准测试、推理链研究和科学 NLP 任务。数据集采用 CC BY 4.0 许可，源自开放获取的科学文献。

Matter to Mechanism is an expert-curated structured dataset containing 2,645 question-hypothesis pairs derived from peer-reviewed literature in materials science and electrochemistry. Each entry links a clearly articulated research question with its corresponding scientific hypothesis, including step-by-step reasoning chains, proposed interventions, mechanism explanations, and target properties. The dataset serves as the foundation for BatteryHypoBench, a multidimensional benchmark for evaluating AI co-scientist systems in scientific hypothesis generation, measuring not only surface fluency but also mechanistic depth, reasoning coherence, and physical plausibility. The dataset includes 20 structured fields such as problem statement, hypothesis, reasoning steps, mechanism explanation, etc. It is suitable for co-scientist benchmarking, reasoning chain research, and scientific NLP tasks. The dataset is licensed under CC BY 4.0 and sourced from open-access scientific literature.

原始信息汇总

数据集概述

基本信息

• 数据集名称: Matter to Mechanism
• 语言: 英语（English）
• 许可证: Creative Commons Attribution 4.0 International (CC BY 4.0)
• 任务类别: 文本生成、问答
• 标签: 电池材料、科学假设、推理链、协同科学家、材料科学、电化学、基准、NeurIPS
• 规模: 1,000 到 10,000 条样本
• 总样本数: 2,645 个专家策展的问题-假设对

数据集结构

• 数据划分:

  • 训练集: 2,116 个样本
  • 验证集: 265 个样本
  • 测试集: 264 个样本

• 字段信息（每个样本包含 20 个结构化字段）:

  字段名	类型	描述
  sample_id	int	唯一样本标识符
  doi	string	论文DOI，用于追溯
  problem_statement	string	完整自然语言问题描述
  hypothesis	string	提出的科学假设（2-4句话）
  problem_core	string	提炼的根本原因（问题压缩15-50%）
  problem_type_broad	string	高层次问题类别（共13类）
  problem_type_fine	string	细粒度问题子类别
  battery_system	string	目标电化学系统
  component	string	特定电极/电解质组件
  failure_mode_or_limitation	string	需解决的精确失效机制
  intervention_or_solution	string	提议的具体材料/工艺修改
  mechanism_or_rationale	string	解释假设的物理/化学机制
  target_property	string	旨在改进的属性
  claimed_outcome	string	预期结果（可量化时包含数值）
  evidence_strength	string	支持证据的质量（strong/moderate/weak）
  novelty_axis	string	科学新颖性的维度
  keywords	string	完整关键词列表
  keywords_compact	string	紧凑关键词集合
  num_reasoning_steps	int	推理步骤数（4-8步）
  reasoning_process	string	逐步推理链，格式为 [Begin Step N]...[End Step N]

数据集统计

• 平均推理步骤: 6.1（范围：4-8）
• 问题类型（宽泛类别）: 13 个
• 问题类型（细粒度类别）: 47 个以上
• 电池/电化学系统: 30 个以上
• 证据强度分布:
  • 强（strong）: 61.3%
  • 中等（moderate）: 38.4%
• DOI覆盖: 2,645 篇独特论文

问题类型分布

问题类型	数量	占比
机制理解	790	29.9%
多因素系统权衡	683	25.8%
性能优化	519	19.6%
制造/可扩展性	164	6.2%
界面稳定性	112	4.2%
传输限制	102	3.9%
反应动力学	93	3.5%
循环稳定性	68	2.6%
结构退化	41	1.6%
材料发现	32	1.2%
其他	41	1.5%

电池系统覆盖（主要系统）

系统	数量
锂离子电池	274
钠离子电池	38
超级电容器	34
PEM燃料电池	24
锂硫电池	24
全固态锂电池	14
锂金属电池	11
水系锌离子电池	10
钒氧化还原液流电池	7

预期用途

• 主要用途: 协同科学家系统的基准测试，评估AI系统在科学假设生成方面的表现
• 次要用途: 推理链研究，支持链式思维评估、科学推理分析、步级奖励建模
• 三级用途: 科学自然语言处理，包括假设提取与生成、问题分解、科学声明分类

评估指标（BatteryHypoBench）

数据集是六项评估指标的基础：

指标	度量内容
RCF — 推理链保真度	步骤进展、收敛性、非冗余性
HPA — 假设-问题对齐	与声明的失效模式的语义一致性
MSI — 机制特异性指数	领域词汇深度、量化基础
SNS — 科学新颖性分数	语料库级别TF-IDF区分度
IP — 干预合理性	物理可行性、材料兼容性
PDQ — 问题分解质量	根本原因精确性、组件粒度
CBS — 综合电池科学分数	加权聚合得分

所有指标均为无参考指标，无需真实假设即可评估，适用于该数据集之外的新问题。

数据收集

• 来源：来自开放获取的材料科学和电化学文献
• 方法：使用结构化输出约束的大型语言模型进行提取，并经过事后质量过滤
• 验证标准：每个条目需包含明确的研究问题与失效模式、可证伪的假设与命名干预、连接干预与结果的机制原理、逐步推理链
• 期刊覆盖：包括ACS、Elsevier、Nature Publishing Group、Royal Society of Chemistry、IOP Publishing等多个出版商

局限性

• 领域范围: 55.8%的条目中 battery_system 为未知，涵盖更广泛的电化学和材料科学
• 语言: 仅英语
• 年份覆盖: 当前版本未提供年份元数据，通过DOI可追溯
• 推理链: 由大型语言模型提取和结构化，人工专家验证正在进行中

搜集汇总

数据集介绍

构建方式

Matter-to-Mechanism数据集通过一个结构化提取管道构建，该管道从开放获取的材料科学与电化学文献中抽取问题-假设对。利用具备结构化输出约束的大语言模型进行提取，并辅以事后质量过滤，确保每条数据包含清晰陈述的研究问题、可证伪的假设及命名的干预措施、连接干预与结果的机理解释，以及逐步推理链。论文来源涵盖ACS、Elsevier、Nature Publishing Group、Royal Society of Chemistry和IOP Publishing等期刊，最终形成包含2,645个专家精选样本的高质量语料库。

特点

该数据集的核心特点在于其多维结构化标注，每条样本包含20个字段，从问题陈述、核心问题、电池系统、组件、失效模式，到假设、干预方案、机理解释、目标性能等，层次分明。推理过程以[Begin Step N]...[End Step N]格式呈现，步数介于4至8之间，平均6.1步，为深度推理分析奠定基础。此外，数据集覆盖13个大类和47个以上的细粒度问题类型，证据强度标注中，强证据占比61.3%，确保了科学信息的可靠性与可追溯性。

使用方法

数据集主要面向AI协同科学家的基准测试，使用时可将问题陈述、电池系统、组件和失效模式作为输入，驱动AI生成假设、推理过程、干预措施与机理解释，并通过BatteryHypoBench多维指标（如推理链保真度、假设-问题对齐度等）进行评估。这些指标均为无参考衡量，无需真实假设即可对新问题实施评测。此外，数据集也可用于推理链研究、科学自然语言处理任务，如假设提取、问题分解与科学主张分类，为模型训练与评估提供丰富资源。

背景与挑战

背景概述

在材料科学与电化学领域，科学假设的生成与验证是推动电池技术革新的核心环节，然而现有AI系统往往停留在表面流畅性评估，缺乏对机制深度与推理一致性的量度。Matter to Mechanism数据集于2026年由匿名团队在NeurIPS评估与数据集轨道上提出，专注于构建一个结构化的问题-假设配对基准，旨在填补这一空白。该数据集从同行评审文献中精心提取了2,645个样本，每个样本包含清晰的研究问题、可证伪的假设、逐步推理链及物理解释。其核心研究问题在于评估AI协同科学家在假设生成中的机制深度与推理连贯性，从而推动材料研究迈向更自动化、更具洞察力的范式。

当前挑战

该数据集面临的挑战多维且深刻。首先，在领域问题层面，电池材料研究常涉及多因素耦合机制（如离子传输与界面稳定性交织），现有评估体系难以精准量化假设的物理合理性，导致AI生成内容表面相关却缺乏实质洞察。其次，构建过程中，从海量文献中提取结构化推理链面临巨大挑战，需依赖大型语言模型并实施严格的质量过滤，但55.8%的条目缺乏明确电池系统标注，凸显了跨领域标注的模糊性。此外，推理链由模型自动构建而非专家全面验证，可能引入偏差，而年份元数据的缺失进一步限制了时间维度的分析能力，这些技术瓶颈亟需更精细的标注协议与专家审核机制来克服。

常用场景

经典使用场景

在材料科学与电化学领域，科学假设的生成与验证一直是推动电池技术革新的核心环节。Matter to Mechanism数据集最经典的用途在于作为AI协同科学家系统的基准测试平台，即通过向模型输入精准表述的研究问题、电池体系、组件及失效模式，评估其生成假设、推理链条、干预方案及机理阐述的综合能力。该数据集包含逾2600条经专家筛选的问题-假设对，每条均附有4至8步的逐步推理过程，为衡量AI在科学假设生成中的机制深度、推理连贯性与物理可解释性提供了结构化的评估框架。

解决学术问题

该数据集系统性地回应了材料科学领域中AI辅助科研的评估困境，传统生成式评测多关注表面流畅度而忽视科学假设的物理合理性。Matter to Mechanism通过精细标注问题类型、失效机制、干预策略及证据强度，使学术研究得以量化评价AI在机理理解、多因素权衡、性能优化等13大类科学问题上的假设生成质量。其引入的BatteryHypoBench基准涵盖六大无参考指标，从推理链保真度到干预可行性，极大推动了科学假设生成评测从定性判断向多维度定量分析的转型，为评估AI在真实科研流程中的协作潜力奠定了方法学基础。

衍生相关工作

围绕该数据集已衍生出多项具有标志性的研究工作，其中最核心的当属BatteryHypoBench基准框架的构建，定义了推理链保真度、假设-问题对齐度、机理特异性指数等六项测评指标，为AI生成假设的科学价值提供了客观度量标准。此外，数据集的结构化推理步骤推动了链式思维评估与科学推理分析方向的发展，研究者在此基础上探索基于步骤级奖励建模的强化学习训练范式。在自然语言处理领域，该数据集被用于科学假设提取与生成任务，以及问题分解与科学主张分类等子课题，催生了面向材料科学的专业语义理解方法与模型评估体系。