DarianNLP/mda_step0_cache_NEW_with_labels

---
dataset_info:
features:
- name: X_base
list:
list: float64
- name: Y_base
list: float64
- name: h10_base
list:
list: float64
- name: prompt_labels
list: string
- name: refused_labels
list: int64
- name: W_enc_sel
list:
list: float64
- name: b_enc_sel
list: float64
- name: selected_feature_indices
list: int64
- name: feat_cols
list: string
- name: eval_prompts
list: string
- name: LAMBDA
dtype: int64
- name: LAYER
dtype: int64
- name: TARGET_SEQUENCES
list:
list: int64
- name: experiments
struct:
- name: appendix
list:
- name: U_inv
list:
list: float64
- name: W
list: float64
- name: indices
list: int64
- name: seed
dtype: int64
- name: harmful_balanced
struct:
- name: U_inv
list:
list: float64
- name: W
list: float64
- name: indices
list: int64
- name: harmful_harmless
struct:
- name: U_inv
list:
list: float64
- name: W
list: float64
- name: indices
list: int64
- name: harmful_natural
struct:
- name: U_inv
list:
list: float64
- name: W
list: float64
- name: indices
list: int64
- name: code_topic
list: string
- name: code_type_of_command
list: string
- name: topic_reasoning
list: string
- name: command_reasoning
list: string
- name: code_topic_collapsed
list: string
- name: code_type_of_command_collapsed
list: string
splits:
- name: train
num_bytes: 207210784
num_examples: 1
download_size: 155336448
dataset_size: 207210784
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
---

搜集汇总

数据集介绍

构建方式

该数据集名为mda_step0_cache_NEW_with_labels，其构建过程源于对神经语言模型内部机制的系统性剖析。数据集以缓存形式存储了模型在特定层（LAYER）与正则化强度（LAMBDA）下的中间表征，包含基础特征矩阵X_base与Y_base，以及经由稀疏编码提取的编码权重W_enc_sel与偏置b_enc_sel。进一步地，通过选定特征索引selected_feature_indices与对应的特征列名feat_cols，将原始隐空间映射至可解释的语义子空间。此外，数据集中嵌入了多种实验配置（experiments），如harmful_balanced与harmful_harmless等，每种配置均记录了逆矩阵U_inv、权重W及索引信息，旨在探究模型对有害与无害提示的差异化响应机制，从而构建出结构化的可解释性分析基准。

特点

该数据集的核心特点在于其兼顾了模型表征的丰富性与实验设计的系统性。一方面，数据蕴含了从基础残差流（X_base, h10_base）到稀疏编码结果的完整层级信息，并提供了提示标签（prompt_labels）与拒绝标签（refused_labels）等监督信号，便于对齐语义内容与模型行为。另一方面，通过多组实验结构（如harmful_natural、harmful_harmless）的并行存储，数据集支持跨情境的对比分析，揭示了模型在不同干扰类型下的表征差异。此外，代码主题（code_topic）与命令类型（code_type_of_command）等元信息的引入，进一步细化了对模型推理方向的归因能力，使得该数据成为研究模型安全性与可解释性的宝贵资源。

使用方法

该数据集的使用可从数据加载与实验复现两个层面展开。首先，用户可通过HuggingFace Datasets库直接加载单一训练分片，获取包含所有变量的结构化记录。建议用户将X_base与Y_base作为输入输出对，结合prompt_labels与refused_labels进行监督学习或表征分析。其次，针对可解释性研究，可利用W_enc_sel与selected_feature_indices重构稀疏特征，并通过experiments字段中的逆矩阵与种子（seed）参数复现特定干预实验。此外，代码主题与推理主题（topic_reasoning）等标签可用于模型行为分类任务，而TARGET_SEQUENCES则提供了细粒度的序列级目标标注。总体而言，数据通过标准化格式，兼容了从表征可视化到行为预测的多样化分析需求。

背景与挑战

背景概述

mda_step0_cache_NEW_with_labels数据集是大型语言模型可解释性研究领域的重要资源，由专注于机械可解释性与安全性的研究团队构建。该数据集旨在系统性地探究语言模型内部机制，特别是针对模型拒绝有害指令的行为进行深入剖析。其研究核心在于通过缓存模型中间层激活值（如X_base与h10_base），结合实验配置（如LAMBDA与LAYER参数）和多种评估场景（包括harmful_balanced、harmful_harmless等），揭示模型决策过程中特征选择与线性变换的规律。该数据集为理解语言模型的内部表示、偏见机制以及安全对齐提供了关键的数据支撑，推动了可解释人工智能的前沿发展。

当前挑战

该数据集面临的领域挑战在于，如何从高维、非线性的神经网络中精准解构出与安全对齐相关的稀疏因果路径。模型拒绝有害指令的过程涉及多层次非线性交互，而该数据集仅通过单层系数矩阵（W_enc_sel与b_enc_sel）和选定特征索引进行近似，这可能导致对关键神经元的漏检或过拟合。在构建过程中，挑战集中于实验设计的普适性问题：当前仅包含单样本（num_examples=1）的训练集，难以覆盖多样化的有害指令类型；同时，harmful_balanced等实验配置的固定种子（seed）可能引入采样偏差，削弱解构结果的泛化能力与可迁移性。

常用场景

经典使用场景

该数据集在可解释人工智能与大型语言模型安全性的交叉领域中展现出独特价值，尤其适用于探究模型拒绝回答有害指令时的内部认知机制。其设计精巧地融合了基础线性转换数据（X_base、Y_base）与多组实验配置（如harmful_balanced、harmful_harmless等实验子结构），为研究者提供了从激活空间到决策边界的完整分析链路。通过调用其中存储的编码器权重（W_enc_sel、b_enc_sel）与选定特征索引，可针对性地剖析模型在特定中间层（LAYER参数指定）对“拒绝”行为（refused_labels）的表示方式。该数据集最经典的用法是作为机械可解释性分析的基准，支持对安全对齐机制进行逐层解构，从而揭示模型何时以及如何触发拒绝响应。

实际应用

在实际AI系统开发中，该数据集可应用于安全审计与红队测试的自动化分析环节。工程团队可借助数据集中标注的prompt_labels与eval_prompts字段，对模型在不同指令类型（如code_topic、command_reasoning分类）下的拒绝行为进行系统性量化评估。特别是通过调用LAMBDA参数对应的正则化系数，可模拟不同安全阈值下模型的反应边界，从而辅助开发者调整部署时的拒绝策略平衡点。此外，数据集中存储的特定层（LAYER）表征信息，使得开发人员能够在不依赖完整模型运行的情况下，快速验证特定安全补丁或微调操作对内部表征的影响，显著提升了安全迭代的效率与准确性。

衍生相关工作

该数据集的出现催生了一系列关于神经表征解耦与安全机制定位的后续研究。一方面，它启发了基于线性探针的探测方法学发展，研究者利用其中存储的selected_feature_indices与编码器参数，提出了可迁移的拒绝方向识别算法，能够在不同模型和越狱攻击场景下定位关键的因果节点。另一方面，数据集中的多实验结构（harmful_balanced、harmful_natural等）为因果可解释性研究提供了宝贵的对照基准，衍生出诸如“表示比对法”和“干预效应归因”等分析范式。这些工作不仅深化了对对齐机制的理解，还推动了模型编辑技术在安全领域的具体应用，例如通过微调特定方向（如W矩阵对应的语义轴）来增强或减弱模型的拒绝倾向。