gemma4-interpretability

该数据集是Gemma材料科学可解释性研究档案，支持论文《Reading and Steering Materials Science-Mechanism Representations in an Open-Weight Language Model》。数据集包含原始观察结果、支持状态数组、精确提示、协议、干预记录、统计数据、分析源代码以及生成的图表。具体内容包括：4B模型读出和几何研究、引导和补丁实验、基于方程和无方程的关系实验、12B/31B规模扩展实验、三尺度坐标干预实验以及回顾性评论3重叠审计。数据采用原始`jlens_materials/`目录布局，并附有`MANIFEST.json`、`FILE_INVENTORY.csv`和`RESULT_MAP.csv`等清单文件，用于枚举记录、校验完整性和映射论文图表。数据集还提供了验证脚本`verify_release.py`和可重现性说明。注意：协议时间线说明表明该数据集并非独立时间戳的预注册，且因果坐标实验存在修正记录。数据集的许可证为Apache-2.0，但上游模型和第三方资源仍需遵循各自条款。This dataset is an archive for the Gemma materials science interpretability research, supporting the paper Reading and Steering Materials Science-Mechanism Representations in an Open-Weight Language Model. It contains raw observations, support state arrays, exact prompts, protocols, intervention records, statistics, analysis source code, and generated figures. Specific contents include: 4B model readout and geometry studies, steering and patching experiments, equation-based and equation-free relational experiments, 12B/31B scale-up experiments, three-scale coordinate intervention experiments, and retrospective review triple overlap audit. The data follows the original jlens_materials/ directory layout, with manifest files such as MANIFEST.json, FILE_INVENTORY.csv, and RESULT_MAP.csv for enumerating records, verifying integrity, and mapping to paper figures. The dataset also includes a verification script verify_release.py and reproducibility notes. Note: The protocol timeline indicates that this dataset is not a pre-registration with independent timestamps, and there are correction records for causal coordinate experiments. The dataset is licensed under Apache-2.0, but upstream models and third-party resources still require compliance with their respective terms.

原始信息汇总

Gemma材料科学可解释性研究数据集（gemma4-interpretability）

数据集概述

该数据集是支持论文《通过可解释性技术读取和引导开源语言模型中的材料科学机制表征》的研究记录档案，由Markus J. Buehler撰写，发布标识为paper-revision-2026-09-06。数据集包含原始观测数据、支持状态数组、精确提示词、实验协议、干预记录、统计数据、分析源代码以及生成的研究图表。

核心内容

• 原始4B读取与几何研究
• 引导与补丁实验（steering and patching）
• 提供方程与无方程的关联实验
• 12B/31B规模扩展实验
• 三尺度坐标干预实验
• 回顾性Comment 3重叠审计

数据保留了原始的jlens_materials/目录结构，并包含发展和诊断记录，包括阴性结果和已被取代的对照实验。并非所有存档的开发记录都是论文中的确认性终点。

文件与验证

• MANIFEST.json 和 FILE_INVENTORY.csv：列出研究记录文件的大小、SHA-256哈希和收录依据
• RESULT_MAP.csv：将论文图表映射到支持记录和复现命令
• paper/：包含最终论文来源、图表、精简SI数据和PDF文件；paper/SOURCE_MANIFEST.json单独标识此包
• verify_release.py：验证所有原始研究记录文件的完整性
• REPRODUCIBILITY.md：描述分析复现方法及其验证范围

下载指定提交哈希（e5f5080bdd9ed99ef99b8f81b31f9e93f2de4075）可获取不可变的原始研究数据快照；main分支额外包含最终论文包和更新后的发布文档，原始研究记录不变。

协议时间线与修正说明

数据集中“冻结”、“预指定”和包含“preregistration”的历史文件名仅代表作者内部研究记录，不独立构成带时间戳的预注册。公开GitHub仓库创建于2026年7月22日，晚于7月实验，本次数据发布更晚。CHRONOLOGY.json和CHRONOLOGY.csv记录了日期和状态说明，但不将可编辑时间戳或哈希视为外部时间证据。

原始文件逐字节保留，包括历史术语和原始验证器标签。因果坐标实验中，原始验证器检查了不同的定律标识，后续审计发现开发和目标队列中存在三个重复的物理关系，修正后的解释和敏感性结果位于jlens_materials/experiments/causal-relational-comment3-audit-2026-09-06/及修订的SI S7A/表S45中。被取代的高斯对照诊断因溯源原因保留，但不纳入修订后的主要推断。

相关资源

• 公开源代码仓库
• 拟合雅可比透镜：包含3个4B、3个12B和1个31B的论文拟合
• 原始探索性潜向量
• 可复用提示数据集

Gemma基础检查点和拟合透镜权重未包含在此数据集中，从保存的观测和状态重新计算分析无需它们；如需重新运行模型推理，则需确切的检查点/透镜版本及适用的访问条件。数据集中包含的Apache-2.0 LICENSE和NOTICE来自公共源代码仓库，涵盖其源代码；上游模型和第三方资源条款仍适用。

搜集汇总

数据集介绍

构建方式

该数据集为材料科学可解释性研究提供了严谨的档案支撑，其构建以原始实验数据为核心，完整保留了研究过程中的观测结果、状态数组、精确提示词、实验协议、干预记录及统计分析源码。数据组织沿袭原生的`jlens_materials/`目录结构，辅以`MANIFEST.json`和`FILE_INVENTORY.csv`对每条研究记录进行详细枚举，涵盖文件大小、SHA-256哈希及收录依据。通过`RESULT_MAP.csv`建立论文图表与支持记录及复现指令的映射，确保数据溯源清晰。此外，数据集严格区分原始研究快照与后期发布的文档包，利用固定提交哈希锁定不可变版本，并附有验证脚本与复现指南，以保障数据的完整性和可验证性。

特点

数据集特色鲜明，深度契合科学可复现性的要求。其核心优势在于全面收录了实验演进脉络，包括阴性结果和被取代的对照组，为理解研究路径提供了完整背景。开放性体现在原始文件逐字节保留，历史术语与验证标签未加修饰，保证了真实性与透明性。针对特定实验的后期审计，数据集以独立更正文件形式呈现，并列明历史分类与修正后的解释，体现了学术严谨性。此外，通过详尽的清单与校验机制，实现了高度规范化的数据治理，极大便利了第三方对研究结论的独立验证与二次分析。

使用方法

使用者可通过指定提交哈希从HuggingFace平台完整下载数据集，利用内置的验证脚本对所有原始记录进行哈希校验，确保数据未遭篡改。遵循`REPRODUCIBILITY.md`指南可进行仅基于分析的重现，但需注意历史分析脚本会在原位写入衍生文件，因此建议在副本目录中操作。为复现模型推断，需另行获取Gemma模型基座及适配的雅可比透镜权重。数据集中的`RESULT_MAP.csv`引导用户快速定位论文各图表对应的原始数据与复现命令，结合协议时间线文件，可辅助用户清晰辨识研究的不同阶段与状态。

背景与挑战

背景概述

随着大型语言模型在科学发现中的广泛应用，其内部工作机制的透明性和可解释性成为亟待解决的关键议题。为探究材料科学领域中的机制表征，由Markus J. Buehler领导的研究团队于2026年创建了gemma4-interpretability数据集，该数据集基于Gemma系列模型，系统记录了机制可解释性实验的原始观测、状态数组、提示词、干预方案及统计分析结果。该数据集的核心研究问题在于如何通过机械解释性方法读取和操控模型对材料科学机制的表征，涵盖从4B到31B不同规模模型的扩展研究。作为开放的科研档案，它提供了完整的实验记录和复现工具，为可解释性研究树立了标准，促进了跨学科的验证与后续研究的发展。

当前挑战

该数据集所面对的挑战主要源于两方面：其一，在领域层面，大型语言模型在材料科学中的应用需克服机制表征的复杂性和非线性，确保干预的精确性及因果推断的可靠性，同时需处理跨尺度扩展带来的模型行为差异。其二，在数据集构建过程中，需严格保留原始实验记录的完整性与不变性，包括开发中产生的阴性结果和过时对照，并通过哈希校验确保数据的一致性。此外，协调时间戳与协议先后关系、修正历史数据中的偏差等亦构成显著困难，如对因果坐标实验的审计揭示出重复物理关系，需在保留原始记录的前提下提供修正后的解读与敏感性分析，反映了科学数据保存与认知演进的矛盾。

常用场景

经典使用场景

该数据集作为材料科学与可解释性人工智能交叉领域的珍贵研究档案，典型应用场景在于支撑对开放权重语言模型内部机制的表征剖析与因果干预实验。研究者可依据所存的提示词、状态数组及干预记录，重演包含4B模型读出力与几何研究、因果坐标干预等完整实验流程，进而验证多尺度语境下模型对材料科学概念的表征逻辑。其设计蕴含高度可复现性，为机械可解释性研究提供了标准化的实证基准，尤其在探讨语言模型如何编码领域知识这一核心命题上具有不可替代的方法论价值。

解决学术问题

该数据集直面大语言模型在垂直科学领域中可解释性匮乏及实验结果难以复现的学术痛点。通过系统归档原始观测、干预协议及分析源码，它解决了从隐空间解读到因果干预中证据链断裂的普遍困境，使研究者得以在严格的版本控制与透明度保障下审视模型内在机制。其影响在于建立了材料科学与机制可解释性研究的新范式，推动了对模型知识表征的严谨验证，并凭借对负面结果与陈旧控制组的留存，有效抵制了科学报告中的选择性偏差，提升了该领域结论的稳健性与公信力。

衍生相关工作

该数据集衍生出一系列影响深远的后续工作，包括但不仅限于基于雅可比透镜的因果特征归因研究、跨尺度模型行为的对比分析，以及针对物理关系重叠的审计方法学改进。其公开的提示词集与隐向量数据已催生出更高效的模型探针技术和对机制可解释性工具的自动化评估框架。尤为重要的是，回应的校正流程被引申为处理科研数据中历史偏差的范例，启迪了同行在数据版本控制与事后分析透明化方面的标准制定，进而推动了可复现人工智能在科学发现中应用边界的持续拓展。