Boson20/matter-to-mechanism

Matter to Mechanism 是一个包含2,645个专家整理的问题-假设对的结构化数据集，这些数据对来自材料科学和电化学领域的同行评审文献。每个条目将一个精确陈述的研究问题与其对应的科学假设联系起来，包括逐步推理链、提出的干预措施、机制原理和目标属性。该数据集是BatteryHypoBench的基础，这是一个多维基准，用于评估AI共同科学家系统在科学假设生成方面的表现，不仅测量表面流畅性，还测量机制深度、推理连贯性和物理合理性。Matter to Mechanism contains 2,645 expert-curated problem–hypothesis pairs extracted from peer-reviewed materials science and electrochemistry literature. Each entry links a precisely stated research problem to its corresponding scientific hypothesis, complete with a step-by-step reasoning chain, proposed intervention, mechanistic rationale, and target property. The dataset is the foundation of BatteryHypoBench, a multi-dimensional benchmark for evaluating AI co-scientist systems on scientific hypothesis generation — measuring not surface fluency but mechanistic depth, reasoning coherence, and physical plausibility.

搜集汇总

数据集介绍

构建方式

Matter to Mechanism 数据集源自对开放获取的材料科学与电化学文献的系统性结构化抽取。研究团队借助具备结构化输出约束能力的大语言模型，从同行评审论文中提取问题-假设对，并辅以严格的后处理质量过滤。每个样本均需包含明确界定的研究问题与可证伪的科学假设，以及连接干预手段与实验结果的机理解释。数据来源涵盖ACS、Elsevier、Nature Publishing Group、Royal Society of Chemistry和IOP Publishing等多个权威出版集团，确保了文献覆盖的广度与代表性。

特点

该数据集以其精细的多维度结构化设计而著称，包含20个字段，从问题陈述、核心因果提炼到分步推理链条，乃至证据强度与新颖性轴线，均被系统编码。尤为突出的是，每一条目均附有逐步骤的推理过程，步数在4至8之间，为评估AI模型的因果推断连贯性提供了黄金标准。此外，数据集覆盖13个大类与47个以上细分子类的问题类型，横跨锂离子电池、钠离子电池、超级电容器等多种电化学体系，展现了在电池材料研究领域的深厚专业性。

使用方法

作为BatteryHypoBench基准测试的核心，该数据集主要服务于AI协同科学家系统的假设生成能力评估。使用时，可将问题陈述、电池体系、组件及失效模式作为输入，交由模型生成假设、推理过程及干预方案，而后借助六个参考无关的度量指标（如推理链保真度、假设-问题对齐度、机制特异性指数等）进行多维评分。此外，其结构化的推理链条亦适用于思维链评估、科学推理分析及逐步骤奖励建模，为强化学习训练提供了高质量的教学信号。

背景与挑战

背景概述

在材料科学与电化学领域，从实验观察到形成可验证的科学假设是推动研究突破的核心认知过程。然而，现有数据集多聚焦于图像分类或文本生成等通用任务，鲜有专门针对科学假设生成这一复杂推理环节的基准资源。为填补这一空白，Matter to Mechanism数据集于2026年由匿名研究团队在NeurIPS评测与数据集平台上创建，旨在系统评估人工智能系统作为“协同科学家”在电池材料研究中的假设生成能力。该数据集从经同行评审的开放获取文献中精心提取了2,645对问题—假设条目，每一对均包含结构化的逐步推理链条、干预方案、机理依据及目标性能指标。其独到之处在于，它不仅覆盖从机理理解到多因素权衡等13大类、47余子类问题类型，还提供了60%以上强证据支持的高质量样本，首次为量化AI的机理深度与推理一致性构建了可重复的标准化基准，对推动科学发现自动化领域的发展具有里程碑意义。

当前挑战

该数据集旨在应对多维度挑战。在领域问题层面，它直击科学假设生成评估的长期困局：传统评估指标多依赖表面流畅度或统计匹配，无法衡量假设的机制深度、物理合理性及推理连贯性，而Matter to Mechanism通过BatteryHypoBench框架引入六项无参考指标，从推理链条保真度到干预可行性进行全面度量，填补了材料科学中“假设验证”这一关键认知环节的评测空白。在构建过程中，团队面临从非结构化科研文本中精确提取结构化知识的多重难题，包括还原问题核心与故障模式之间的因果关联、确保假设的可证伪性、以及运用大语言模型进行受限输出抽取后的质量控制。此外，数据集的当前版本仅涵盖英文文献，且部分条目缺乏发表年份信息，推理链条由模型自动抽取而人工验证尚在进行中，这些局限提示后续研究需在语言扩展、时序覆盖与专家审核方面持续完善。

常用场景

经典使用场景

在材料科学与电化学研究领域，Matter to Mechanism数据集最经典的使用场景是作为评估人工智能合科学家（Co-Scientist AI）系统在科学假说生成任务上表现的核心基准。研究者将数据集中的problem_statement、battery_system、component和failure_mode_or_limitation等字段作为输入，要求AI系统生成对应的假说、推理链条、干预方案与机制依据，并通过BatteryHypoBench指标体系衡量其科学深度、推理连贯性与物理合理性。该场景精准检验了AI从现象到机理的归因推理能力，是推动下一代科学人工智能验证标准的关键数据源。

解决学术问题

该数据集系统性地解决了材料学研究中缺乏结构化、可量化的假说生成评估基准这一核心学术难题。传统上，针对AI生成科学假说的评测多依赖人工主观判断或表面相似度指标，难以衡量其机理深度与逻辑一致性。Matter to Mechanism通过提供2645条从同行评议文献中精挑细选的问题-假说对，并配有细致的推理步骤、机制解释与新奇性标签，为研究者提供了可复现、多维度、无参考的评估标准。它推动了科学NLP从语言流畅性向机理真实性演进，深刻重塑了AI在科学发现中的可信度与实用价值。

衍生相关工作

Matter to Mechanism催生了一系列围绕科学推理与假说生成的经典衍生工作，其中包括BatteryHypoBench评测框架的构建及其六项无参考评估指标的开源实现。在此基础上，研究者进一步发展了面向推理链条的逐步骤奖励模型，服务于GRPO与PPO等强化学习训练范式。该数据集还被用作科学问题分解的质量预训练语料，衍生出专门用于科学假说新颖性评估的TF-IDF对比基准以及面向机理特定性指数的词汇深度分析工具，在NeurIPS等顶会上形成了以结构化物理学推理为核心的AI for Science新研究路径。