fnbm-current-sweep-results

该数据集名为fnbm-current-sweep-results，是专为fnbm-current模型设计的网格参数扫描试验结果集合。它包含59个试验样本，每个样本对应一次参数组合的模型训练与评估运行，共计29个字段。核心字段包括试验唯一标识符（trial_id）、实验名称（experiment_name）、扫描名称（sweep_name）、参数组合名称（combo_name）、扫描参数覆盖配置（grid_overrides）、完整配置YAML（config_yaml）、集群作业信息（job_id, cluster）和记录时间戳（timestamp）。性能评估指标涵盖最佳验证损失（best_val_loss）及其对应的皮尔逊相关系数（best_val_pearson_r）和轮次（best_epoch）、仿真数据的最终轮次R²（sim_r2）和皮尔逊相关系数（sim_pearson_r）、一阶与二阶贡献比例分析指标（如sim_mean_gt_z_abs_ratio, sim_mean_model_z_abs_ratio, absorption_gap）、滤波器激活分散度指标（promiscuity_mean_entropy, promiscuity_max_entropy）、真实交互对数量（n_true_interaction_pairs）与模型有效交互对数量（interaction_effective_num_pairs）及其差异（interaction_concentration_gap）。此外，还包含每轮历史指标（epoch_history）、Weights & Biases运行链接（wandb_run_url）和本地报告路径（report_pdf_path）。该数据集适用于机器学习模型超参数调优分析、模型性能对比、训练动态研究以及可解释性分析（如贡献分解）等任务。The dataset is named fnbm-current-sweep-results and is a collection of grid parameter sweep experiment results specifically for the fnbm-current model. It contains 59 trial samples, each corresponding to a model training and evaluation run with a parameter combination, totaling 29 fields. Key fields include the trial unique identifier (trial_id), experiment name (experiment_name), sweep name (sweep_name), parameter combination name (combo_name), grid parameter overrides configuration (grid_overrides), full configuration YAML (config_yaml), cluster job information (job_id, cluster), and timestamp (timestamp). Performance evaluation metrics cover the best validation loss (best_val_loss) and its corresponding Pearson correlation coefficient (best_val_pearson_r) and epoch (best_epoch), final epoch R² (sim_r2) and Pearson correlation coefficient (sim_pearson_r) for simulation data, first-order and second-order contribution ratio analysis metrics (e.g., sim_mean_gt_z_abs_ratio, sim_mean_model_z_abs_ratio, absorption_gap), filter activation dispersion metrics (promiscuity_mean_entropy, promiscuity_max_entropy), number of true interaction pairs (n_true_interaction_pairs) versus model effective interaction pairs (interaction_effective_num_pairs) and their difference (interaction_concentration_gap). Additionally, it includes per-epoch history metrics (epoch_history), Weights & Biases run links (wandb_run_url), and local report paths (report_pdf_path). This dataset is suitable for tasks such as machine learning model hyperparameter tuning analysis, model performance comparison, training dynamics research, and interpretability analysis (e.g., contribution decomposition).

原始信息汇总

数据集概述：fnbm-current-sweep-results

该数据集记录了 fnbm-current 模型的网格扫描（Grid-sweep）试验结果。

• 许可协议：MIT
• 数据量：包含 71 行记录，29 列字段。
• 数据用途：存储每次试验的性能指标、模拟对比结果以及配置信息，用于分析模型在不同参数组合下的表现。

字段说明

数据集包含以下关键字段，分为几类：

试验标识与配置：

• trial_id：试验的唯一标识符。
• experiment_name：试验所属的实验文件夹名称。
• sweep_name：整个扫描过程的基运行名称。
• combo_name：基于基名称与参数值生成的单次运行名称。
• grid_overrides：JSON编码的扫描参数键值对。
• config_yaml：本次试验的完整解析配置。
• job_id / cluster：集群任务ID和集群名称。

模型性能：

• best_val_loss：训练过程中达到的最佳验证损失。
• best_val_pearson_r：最佳验证损失时期的验证皮尔逊相关系数。
• best_epoch：最佳验证损失所在的训练轮次。

模拟对比指标：

• sim_r2：最终训练轮次时，模型预测与模拟真值之间的R²。
• sim_pearson_r：最终训练轮次时，与模拟真值的皮尔逊相关系数。
• sim_mean_gt_z_abs_ratio / sim_mean_model_z_abs_ratio：真值与模型预测中二阶效应贡献的平均比例。
• sim_z_abs_1_corr / sim_z_abs_2_corr：模型与真值在样本级一阶和二阶贡献上的相关性。
• absorption_gap：模型高估二阶效应的程度指标。

其他指标：

• promiscuity_mean_entropy / promiscuity_max_entropy：滤波器激活的漫射程度代理指标。
• n_true_interaction_pairs / interaction_effective_num_pairs：模拟中真实与有效的相互作用对数量。
• epoch_history：JSON格式的逐轮次指标历史。
• wandb_run_url：W&B运行页面链接。
• report_pdf_path：试验报告PDF文件的路径。

使用方式

可通过 Hugging Face datasets 库加载该数据集：

python from datasets import load_dataset

dataset = load_dataset("arushram/fnbm-current-sweep-results", split="train") print(f"Loaded {len(dataset)} rows")

搜集汇总

数据集介绍

构建方式

该数据集源自对fnbm-current模型进行的网格扫描试验，通过同步脚本sync_sweep_results.py系统性地收集了96次试验的结果。每一次试验均对应一组独特的超参数组合，并记录下包含完整配置、验证指标及模拟评估在内的29个字段，确保实验的可复现性。数据构建过程将每个试验的标识符、实验名称、扫描名称、组合名称以及超参数覆盖项以JSON格式编码存储，同时保留了训练过程中的最佳验证损失、皮尔逊相关系数等关键性能指标，以及与模拟真值对比的多维度统计量，形成结构化的评估数据集。

使用方法

用户可通过HuggingFace的datasets库便捷加载该数据集，仅需一行代码即可获取完整数据表。加载后的数据集包含96行记录，每行代表一次网格扫描试验的全面结果。用户可直接利用split='train'参数调用，无需额外拆分。数据集提供的数据列涵盖了从基础配置到高级指标的广泛信息，便于进行性能比较、超参数分析或模型行为探索。特别地，epoch_history列存储了每个试验的逐轮指标，适用于时序分析；而report_pdf_path列指向详细的模拟评估报告，便于深入审查特定试验结果。

背景与挑战

背景概述

在深度学习可解释性研究领域，理解神经网络内部表征的机制始终是核心挑战之一。fnbm-current-sweep-results数据集由研究人员Arush Ram于近期创建，旨在系统性地探究滤子重要性归因（Filter Normalized by Magnitude, FnBM）方法的鲁棒性。该数据集通过大规模的网格扫描实验，记录了不同超参数组合下模型在模拟转录因子结合位点数据上的表现，包括验证损失、皮尔逊相关系数以及二阶效应的归因能力等关键指标。其核心研究问题在于量化模型对序列中相互作用基序对的归因准确性，以及评估模型是否存在过度归因于二阶效应的倾向（即吸收差距）。该数据集为可解释性评估提供了标准化基准，对推动深度学习在生物序列理解领域的可信应用具有重要价值。

当前挑战

该数据集重点解决了两个层面的挑战。首先，在领域问题层面，它直面深度神经网络在基因调控任务中归因解释的可靠性危机，即模型可能过度依赖高阶交互特征而偏离真实生物学机制，通过引入仿真模拟的真值框架来量化这一偏差。其次，在构建过程中面临的技术挑战包括：如何设计一个覆盖关键超参数空间（如学习率、正则化强度）且具备可重复性的网格扫描方案；如何定义并计算诸如吸收差距、交互有效对数量等新颖的归因一致性度量指标；以及如何高效处理96个实验组合产生的海量训练日志、检查点与评估报告，并确保数据以标准化格式（如JSON编码的配置与纪元历史）存储，便于后续分析与复现。

常用场景

经典使用场景

该数据集专为fnbm-current模型的全参数网格搜索实验结果而设计，在生物神经网络建模与可解释性分析领域具有经典应用价值。研究者可借此系统性地审视不同超参数组合对模型训练动力学与模拟拟合能力的影响，尤其适用于探究模型在模拟转录因子结合位点数据时，对一阶与二阶相互作用效应的归因能力。数据集记录了最佳验证损失、与模拟真值的皮尔逊相关系数及R²等关键指标，为评估模型泛化性能与仿真一致性提供了标准化度量基准。

解决学术问题

该数据集精准回应了在生物序列建模中模型可解释性评估的学术难题，特别是如何量化神经网络对高阶特征交互的感知能力。通过引入模拟真值中的一阶与二阶贡献比率及其与模型内部归因的对比指标（如sim_z_abs_ratio_corr与absorption_gap），数据集使得研究者能够定量检验模型是否准确捕捉到了调控元件间的组合效应。这些指标有效解决了以往仅依赖预测精度而忽视内部机制透明度的局限，推动了深度学习模型在计算生物学中的可信赖评估范式。

实际应用

在计算基因组学与合成生物学实践中，该数据集可辅助研究人员筛选出在模拟环境中对交互效应归因最精准的模型配置，从而指导真实生物数据中的调控网络推断。例如，通过分析promiscuity_mean_entropy等扩散激活代理指标，用户能够识别滤波器是否过度泛化或聚焦于特定位置，进而优化模型架构以提升对顺式调控元件组合逻辑的解读能力。此外，数据集中的wandb_run_url与报告路径字段为跨团队的实验复现与结果审计提供了直接追溯渠道。

数据集最近研究

最新研究方向

该数据集聚焦于fnbm-current模型的网格扫描结果，系统性地记录了不同超参数组合下的训练与模拟验证指标。在当前可解释神经网络研究的前沿，该数据集为探究模型内部第二阶效应（即非线性特征交互）的归因能力提供了关键基准。通过对比模型预测与模拟真实值在第二阶贡献比例、Pearson相关系数及注意力浓度等维度的差异，研究者能够深入剖析网络各层滤波器的功能专化性与交互模式。该数据集与近期兴起的可解释性热点紧密相连，特别是在理解深层网络如何从序列数据中捕获协同基序组合方面具有重要价值，其提供的吸收间隙和交互浓度差异等指标，为评估模型在复杂生物序列模拟场景下的可解释性与忠实性搭建了量化桥梁。