MATTER-OF-FACT

MATTER-OF-FACT是一个包含8.4K条断言的基准数据集，这些断言来自四个高影响力的当代材料科学领域的科学文章，包括超导体、半导体、电池和航空航天材料。每个断言都包含分类信息（定性或定量，以及实验、代码或理论重点），并配有一个知识截止日期，用于可行性评估任务。该数据集旨在帮助发现系统过滤断言，从而在有限的实验预算下实现更多发现。MATTER-OF-FACT is a benchmark dataset consisting of 8.4K claims sourced from high-impact scientific articles across four contemporary material science subfields: superconductors, semiconductors, batteries, and aerospace materials. Each claim includes categorical metadata (qualitative or quantitative, as well as experimental, code, or theoretical focuses) paired with a knowledge cutoff date for feasibility assessment tasks. This dataset is designed to assist discovery systems in filtering claims, thereby enabling more discoveries under limited experimental budgets.

搜集汇总

数据集介绍

构建方式

MATTER-OF-FACT数据集的构建始于对arXiv上2022年1月后材料科学与超导领域的24,000余篇论文进行筛选。为确保文本质量，仅保留采用Creative Commons BY Attribution 4.0许可且LaTeX源代码可获取的文章，并排除长度超过30,000 tokens的论文，最终获得4,200篇候选文献。随后，通过GPT-4O-MINI对摘要进行主题标注，聚焦超导体、半导体、电池和航空航天材料四个高影响力子领域，各领域抽取125篇文章，共500篇用于后续处理。在生成阶段，利用大语言模型从每篇论文全文提取成对的可行与不可行声明，要求声明独立于原文，并指定其定性或定量属性，以及来源类型（实验、代码模拟、理论或综合）。最终，依据论文首次提交年份对声明进行时间划分，在训练、验证和测试集中保持正负样本平衡，共汇聚8,400条声明，构成该基准数据集。

特点

MATTER-OF-FACT数据集的核心特色在于其独到的“可行性评估”任务框架，将科学假设筛选转化为带有时间过滤的声明验证问题。每个声明均配有一个明确的知识截止日期，模拟研究人员在特定时间点利用已有知识预测未来实验结果的情境，从而规避了传统声明验证中“事后诸葛亮”的偏差。数据集覆盖材料科学四个关键领域，声明不仅分为真/假两类，还标注了定性与定量维度，以及实验、理论、代码模拟和综合四种类型，这为细粒度评估模型能力提供了丰富维度。此外，领域专家验证显示声明一致性与客观性高达99%，确保了数据的高质量，而基线模型仅能取得72%的性能，凸显了该任务对现有模型的巨大挑战。

使用方法

使用MATTER-OF-FACT数据集时，研究者和开发者应采用时间感知的评估协议。模型需接收声明文本及其对应的知识截止日期，仅允许利用截止日期前可获取的信息来预测声明的可行性。推荐的使用方法包括链式思维推理、检索增强生成（通过Semantic Scholar API检索截止日期前的论文片段）以及代码生成与执行（利用如Code Scientist框架生成并运行Python模拟实验）。所有方法应采用平衡的正负样本进行少样本上下文学习。数据集划分为训练集（1,400条）、验证集（2,500条）和测试集（4,400条），建议在报告结果时按声明类型（定性/定量、实验/代码/理论/综合）进行分层分析，并评估模型在截止日期前后声明的表现以检测知识污染。

背景与挑战

背景概述

MATTER-OF-FACT 数据集由亚利桑那大学与艾伦人工智能研究所的研究人员于2025年联合创建，旨在解决材料科学领域中文献支持的可行性验证问题。该数据集包含8,400条来自超导体、半导体、电池和航空航天材料四大高影响力子领域的科学声明，涵盖了定性、定量以及理论、实验和代码模拟等多维度的声明类型。其核心研究问题是：如何通过时间过滤的声明验证任务，评估前沿科学假设的可行性，从而为自动化科学发现系统提供高效的假设筛选机制。该数据集的发布对材料科学领域具有重要影响，它不仅推动了科学假设验证的自动化进程，还为降低大规模实验成本、提升科学发现效率提供了关键基准。

当前挑战

MATTER-OF-FACT 数据集面临的核心挑战在于可行性评估任务的复杂性。首先，该任务需要模型在时间过滤的约束下，利用给定截止日期前的文献、模拟或实验知识，预测假设的可行性，而许多科学声明仅能通过实验验证，难以通过检索或模拟解决。其次，构建过程中需确保声明的高质量，包括平衡真假样本、避免语言偏见，以及排除对源论文的直接引用，这要求精细的人工标注与专家审核。此外，当前最强的基线模型（如 GPT-4O-MINI、O4-MINI、Claude Sonnet 3.7）结合检索增强生成和代码生成后，准确率最高仅为72%，远低于人类专家的99%，凸显了该任务在推理深度、细粒度知识融合和跨领域泛化能力上的严峻挑战。

常用场景

经典使用场景

在材料科学领域，验证科学假设的可行性是推动知识前沿的关键环节，而MATTER-OF-FACT数据集正是为此而生。该数据集最经典的应用场景是作为“时间过滤型声明验证”任务的评测基准，要求模型在给定知识截止日期的情况下，仅利用该日期之前的文献和实验信息，预测从最新论文中提取的声明是“可行”还是“不可行”。这一设计模拟了科学家在实验规划阶段评估假设可行性的真实认知过程，为衡量语言模型在材料科学多子领域（超导体、半导体、电池、航空航天材料）中的前瞻性推理能力提供了标准化的挑战平台。

衍生相关工作

MATTER-OF-FACT的出现催生了一系列前沿研究方向。在数据构建方法论上，它启发了将时间戳信息融入声明验证的范式，后续工作可探索更精细的时域知识回溯机制。在模型架构层面，该基准推动了融合深度文献检索与廉价代码模拟的混合推理方法的发展，如将CODESCIENTIST式的自动化实验生成与检索增强生成结合。此外，该数据集还促进了针对材料科学子领域的专用语言模型微调策略研究，以及基于世界模型的可信度推理技术。这些衍生工作共同绘制了一条从声明验证走向真正自动化科学发现的清晰路径。

数据集最近研究

最新研究方向

MATTER-OF-FACT数据集聚焦于材料科学领域假设可行性验证的前沿任务，涵盖超导体、半导体、电池及航空航天材料四大高影响力子领域。该基准通过时间过滤式声明验证框架，将8.4K条源自最新科学文献的声明与知识截止日期配对，要求模型仅利用截止前信息预测声明真伪，从而模拟科学家在实验规划阶段基于文献、模拟和先前经验筛选可行假设的认知过程。当前研究表明，即使采用检索增强生成与代码执行等强基线方法，最先进模型（如Claude Sonnet 3.7）的最高准确率仅达72%，而领域专家验证显示绝大部分声明可解，这深刻揭示了现有模型在跨领域定量推理与多维证据整合上的局限性。该基准的提出直接回应了自动化科学发现系统中假说生成规模爆炸与实验成本高昂的核心矛盾——通过可行性过滤可将实验成本降低80%的同时保留60%的真实假说，为构建高效、可扩展的自主发现系统提供了关键评估工具与前进方向。

相关研究论文

• 通过

  亚利桑那大学 · 2025年