fra-phase1-steering-data
收藏资源简介：
FRA Phase-1 Steering Data 是一个用于评估大型语言模型在干预下表现的数据集。它包含针对 Qwen-2.5-14B 和 Qwen-2.5-7B 模型在医疗、金融和体育领域的评估数据，通过不同的方法（如卷积、FRA、DoM）和模型内部钩子点进行干预生成。数据以 JSON 文件形式组织，记录了在不同缩放参数（α）下的对齐度和连贯性指标，并包含多个随机种子下的结果。该数据集适用于模型行为分析、干预效果评估和可解释性研究。
FRA Phase-1 Steering Data is a dataset developed to evaluate the performance of large language models (LLMs) under interventions. It includes evaluation data for the Qwen-2.5-14B and Qwen-2.5-7B models across three domains: healthcare, finance, and sports. The data is generated via interventions implemented through multiple methods such as convolution, FRA, and DoM, as well as internal hook points of the target models. Organized in JSON file format, the dataset records alignment and coherence metrics under different scaling parameters (α), alongside results obtained across multiple random seeds. This dataset is suitable for model behavior analysis, intervention effect evaluation, and interpretability research.
数据集概述
名称
FRA Phase-1 Steering Data
用途
该数据集用于研究语言模型的行为操控（Steering），包含对 Qwen 系列模型（Qwen-2.5-14B 和 Qwen-2.5-7B）在不同数据集、方法和 hookpoint 上的操控结果数据。
模型变体
- Qwen14B_base/：Qwen-2.5-14B-Instruct 基座模型（无 LoRA 微调）
- Qwen14B_EM/：Qwen-2.5-14B 模型，合并了针对特定数据集的 LoRA（如 bad-<dataset> LoRA）
- Qwen14B_archive/：存储已废弃或旧网格数据的参考存档
- qwen7b/：Qwen-2.5-7B 模型（尚未重新组织，计划中）
数据集场景
支持以下三种评估数据集（EM eval prompts）：
- medical（医疗）
- finance（金融）
- sports（体育）
方法（Method）与 Hookpoint
数据结构中包含多种操控方法和部位：
- Conv/<hookpoint>/：基于卷积（Conv）的方法
- FRA/ln1/：包含
qk_to_qk、qk_to_ov、ov_to_ov、baseline子块 - DoM/whole_layer/：全层操控方法
- 其他组合：
<method/hookpoint>/路径下包含按种子（seed）划分的定性文件
网格（Grid）类型
每个数据文件通过网格后缀区分：
combined_neg6.json：13 个 α 点（-6 到 6），原始阶段 1 网格（论文锁定）combined_uni20.json：51 个 α 点（-20 到 20），统一网格（新活动）
两者可在同一（模型变体、数据集、方法、hookpoint）单元中并存。
JSON 数据结构
每个合并文件遵循如下架构：
json { "<method_condition>": { "by_alpha": [ { "scale": -20.0, "per_seed_alignment": [], "per_seed_coherence": [], "seeds": [123, 42, 456], "mean_alignment_across_seeds": ..., ... } ] } }
- scale：操控强度 α 值
- per_seed_alignment：每个种子的对齐分数
- per_seed_coherence：每个种子的连贯性分数
- seeds：使用的随机种子列表（123、42、456）
- mean_alignment_across_seeds：跨种子的平均对齐分数
目录结构示例
Qwen14B_base/ <dataset>/ Conv/<hookpoint>/combined_<grid>.json FRA/ln1/combined_<grid>.json DoM/whole_layer/combined_<grid>.json <method/hookpoint>/debug_per_seed/seed{42,123,456}/qualitative*.json
