causal-internalization-physical-law

该数据集是论文《Causal internalization of physical law in neural networks: a formal measurement framework for representation, intervention and extrapolation across scale》的可重复性包，包含代码、实验数据和结果。数据集的目的是评估神经网络是否通过数据缩放内化隐藏物理参数（如重力、恢复系数）的负载支撑编码，还是仅学习流畅行为。测量框架包括四个指标：探针保真度（ρ）、互换/负载支撑性（ι）、外推（ξ）和变形（σ），并配有校准的正负控制。主要实验包括：物理网格（36个单元，涉及球和摆，2种尺寸×3种预算×3种种子，复制GPU/CPU），算术套件（加、减、乘、除，在模数31下内化），以及四单元域内设计空间（plain→aux-g→decode-g→appended-g）。数据形式为JSON结果文件，存储于results/目录，包含每个单元/操作/控制的测量结果。论文文件（main_filled.pdf/tex）和脚本（planted_control.py, arith_control.py等）也包含在内。该数据集适用于研究神经网络表示学习、因果结构、物理定律内化、可解释性以及缩放定律等领域。This dataset is a reproducibility package for the paper Causal internalization of physical law in neural networks: a formal measurement framework for representation, intervention and extrapolation across scale, containing code, experimental data, and results. The dataset aims to evaluate whether neural networks internalize load-bearing encodings of hidden physical parameters (such as gravity, coefficient of restitution) through data scaling, or merely learn fluent behaviors. The measurement framework includes four metrics: probe fidelity (ρ), interchange/load-bearing (ι), extrapolation (ξ), and deformation (σ), with calibrated positive and negative controls. Main experiments include: Physical Grid (36 units, involving balls and pendulums, 2 sizes × 3 budgets × 3 seeds, replicated on GPU/CPU), Arithmetic Suite (addition, subtraction, multiplication, division, internalized under modulus 31), and a four-unit in-domain design space (plain→aux-g→decode-g→appended-g). Data is in JSON result files stored in the results/ directory, containing measurements for each unit/operation/control. Paper files (main_filled.pdf/tex) and scripts (planted_control.py, arith_control.py, etc.) are also included. This dataset is suitable for research in neural network representation learning, causal structure, internalization of physical laws, interpretability, and scaling laws.

原始信息汇总

数据集概述：因果内化物理定律的可复现性包

数据集描述

这是一个用于复现学术论文《Causal internalization of physical law in neural networks: a formal measurement framework for representation, intervention and extrapolation across scale》的完整捆绑数据集。该数据集的核心目标是衡量神经网络是否通过数据缩放构建了针对隐藏物理参数（如重力、恢复系数）的承重内部编码，还是仅表现出流畅行为。

主要衡量指标

该数据集定义了四项正式度量标准，合称“证书”：

• ρ（探针保真度）
• ι（互换性/承重性）
• ξ（外推能力）
• σ（变形能力）

所有度量均配有校准的正负对照组。

主要实验结果

1. 物理网格实验

• 实验规模：36个单元（摆球+钟摆，2种尺寸 × 3个预算 × 3个随机种子，GPU/CPU双平台复现）
• 发现：准确率随算力提升而提高，但重力探针读数处于底层水平（0.060 / 0.001），ι = 0.000，36/36个单元均无涌现现象——呈现出“随机鹦鹉”特征

2. 算术套件实验

• 任务：+、−、×、÷运算，全部在模数p=31下达到grokking状态
• 发现：grokked模型携带结果编码（ρ_res 0.67–1.00），在分布外输入上计算准确率达1.000，但在第二个模数上仅得0.517 = 435/841分——说明规律是真实存在且承重的（激活补丁翻转率达1.000），但被限制在ℤ₃₁域内

3. 四单元域内设计空间

• 结果轨迹：ι值在普通→辅助梯度→解码梯度→追加梯度间呈现 0.000 → 0.000 → 0.298 → 1.000 的变化
• 关键洞见：当目标函数选择特定代码时证书才偏离底线（潜在监督提升ρ，路由监督提升ι）——内化分解为编码准确率×控制器路由，两者皆为目标属性而非规模属性

文件构成

• 论文文件：main_filled.pdf 与 .tex
• 控制实验代码：planted_control.py（可运行）
• 算术套件：arith_control.py、arith_patch_sweep.py、analyze_arith.py
• 论文生成工具：fill_paper_internalization.py
• 结果与图表：results/ 目录存放所有单元级JSON结果，figures/ 存放论文图表

Kaggle复现说明

使用数据集 sehajrsingh/causal-internalization-code（v3版本）搭配内核 sehajrsingh/causal-internalization-planted-controls 可端到端运行四单元控制套件。

搜集汇总

数据集介绍

构建方式

该数据集围绕神经网络的因果内化测量构建，系统性地评估网络是否将隐藏物理参数（如重力、恢复系数）编码为承重内部表征，或仅表现出流畅行为。构建方式涵盖多维度实验架构：物理网格包含36个单元（球与摆，2种尺寸×3种预算×3种种子），在GPU/CPU上复制运行；算术套件覆盖加减乘除，所有操作均在p=31模下实现grokking；四单元域内设计空间通过plain→aux-g→decode-g→appended-g的目标切换，检测表征准确性与控制器路由的解耦。每个实验均产生校准的正负控制结果，并以JSON格式存储各单元、操作及控制项的完整数据。

特点

数据集的核心特征在于其形式化测量框架，提供四元组证书（ρ探针保真度、ι互换/承重性、ξ外推能力、σ变形性），实现对网络内部化程度的量化判定。物理网格中36/36单元显示零涌现，ρ和ι值接近零，呈现随机鹦鹉签名；而算术套件中grokked模型在原始模上表现完美，但在第二模上准确率恰好为0.517，揭示法则的真实性与承重性受限于特定模空间。域内控制实验展示了从0.000到1.000的梯度变化，精确验证了目标选择对代码承载的影响，凸显数据集的精细控制与诊断能力。

使用方法

使用时可通过运行planted_control.py执行域内控制套件，arith_control.py等脚本处理算术grokking分析，fill_paper_internalization.py自动填充论文结果。所有结果存储于results/目录的JSON文件中，便于复现。在Kaggle平台上，数据集'sehajrsingh/causal-internalization-code'与内核'sehajrsingh/causal-internalization-planted-controls'可端到端运行四单元控制套件，简化复现流程。研究者可依据JSON结果分析各单元指标，评估不同训练目标下的因果内化程度，从而深入理解网络表征的机制性属性。

背景与挑战

背景概述

因果内在化物理定律数据集由研究团队于近期创建，旨在探究神经网络通过数据规模扩展能否真正内化物理定律的因果结构，抑或仅习得表面行为。该研究源于对‘随机鹦鹉’现象的深刻反思，核心问题在于区分模型的表征是否承载隐含物理参数（如重力、恢复系数）的因果代码。团队设计了形式化度量框架，通过探针保真度、干预承载性、外推能力及变形测试四元组，结合正负对照，系统评估神经网络的因果内化程度。该工作对理解深度学习模型的泛化机制、推动可解释AI及科学发现具有重要影响，为评估模型是否真正掌握物理规律提供了严谨工具。

当前挑战

数据集构建面临多重挑战：首要解决的是领域核心问题——如何定量判定神经网络是否内化了物理定律的因果结构，而非仅表现流畅行为。这要求设计能分离表征与行为的度量指标，并克服缺乏可操作定义的困难。构建中遭遇的挑战包括：需在多种架构与训练预算下重复实验，确保结果稳健；控制内化变体（如辅助目标、解码目标）时需精细操作潜在监督，以揭示目标函数对代码选择的影响；算术套件需处理模数绑定问题，证明模型内化的法则具有负载性但受限于特定模数。此外，全套实验涉及多尺度验证与正负对照校准，计算资源需求高，结果敏感性需细致分析，以保证结论的可靠性。

常用场景

经典使用场景

该数据集旨在评估神经网络是否真正内化了物理规律中的因果结构，而不仅是学习到表面行为。其核心使用场景包括：通过探针保真度、互换干预、外推能力和变形测试等综合指标，量化模型对隐藏物理参数（如重力、恢复系数）的表征深度。经典实验涉及物理网格（小球与摆锤的多种组合）和算术运算的泛化能力测试，以识别模型是否形成负载相关的内部代码，抑或仅是随机鹦鹉式的模式匹配。该数据集为因果表征学习研究提供了严谨的评估框架，使得研究者能够区分模型的因果理解与统计关联。

实际应用

在实际应用层面，该数据集和评估指标可广泛用于科学发现、物理仿真和复杂系统建模等领域。例如，在物理引擎或机器人控制中，判断模型是否依据准确的物理参数进行决策，从而提升系统的可解释性与安全性。在工程领域，该框架可指导设计更具鲁棒性的神经网络，避免在分布外输入时产生不可预测的行为。此外，该评估可用于教育科技中的智能辅导系统，验证模型是否真正理解了物理概念，而不仅是从大量题目中记住答案。对于依赖可解释AI的行业（如医疗诊断、自动驾驶），该数据集提供了排查模型是否依赖错误相关性的工具，促进值得信赖的AI系统落地。

衍生相关工作

该数据集衍生了若干经典的研究方向。基于其互换干预和探针技术，研究者发展出激活修补（activation patching）方法来精确定位模型内部承载因果信息的神经元子集，从而揭示算术运算中模数特异性编码的产生机制。物理网格的控制结果促使后续工作探索不同的监督信号（如潜伏监督、路由监督）如何分别提升编码准确性和控制器路由，推动了多任务学习中隐变量稀疏正则化的研究。此外，该评估框架被扩展到其他科学领域，如化学性质预测和天气模型验证，用于检测模型是否学习到守恒量或关键参数。相关工作还探讨了跨尺度外推的边界条件，推动了关于模型泛化理论中“内在表征”与“行为性能”关系的深入讨论。