counterfactuals

Persona Bias Counterfactuals是一个专门用于人设偏见电路发现和干预实验的反事实示例数据集。该数据集包含三个不同的大型语言模型（Llama-3.1-8B-Instruct、Llama-3.2-3B-Instruct和Qwen2.5-7B-Instruct）生成的文本数据，每个模型下提供三种反事实策略分割：axis100_dir20_balanced（论文主要使用）、original和reverse_axis100_dir20_balanced。数据以压缩的JSONL格式存储，总样本量因模型而异，分别为78,694、146,819和279,910行；按策略统计，original策略数据最多（482,001行），两个平衡策略各约11,711行。每个数据行包含丰富的元数据，如模型名称、任务类型、偏见轴、策略类型、源文件等。数据集涵盖多个核心任务（如ARC挑战/简易、伦理、安全、情感分析SST2）和偏见轴（如情感、性别、种族、宗教），适用于文本分类、机制可解释性分析、偏见检测与干预等研究场景。Persona Bias Counterfactuals is a counterfactual example dataset designed for persona bias circuit discovery and intervention experiments. The dataset contains text data generated by three different large language models (Llama-3.1-8B-Instruct, Llama-3.2-3B-Instruct, and Qwen2.5-7B-Instruct), with each model providing three counterfactual strategy splits: axis100_dir20_balanced (primarily used in the paper), original, and reverse_axis100_dir20_balanced. The data is stored in compressed JSONL format, with total sample sizes varying by model: 78,694, 146,819, and 279,910 rows respectively; by strategy, the original strategy has the most data (482,001 rows), while the two balanced strategies each have approximately 11,711 rows. Each data row includes rich metadata, such as model name, task type, bias axis, strategy type, source file, etc. The dataset covers multiple core tasks (e.g., ARC Challenge/Easy, Ethics, Safety, Sentiment Analysis SST2) and bias axes (e.g., sentiment, gender, race, religion), making it suitable for research scenarios like text classification, mechanistic interpretability analysis, bias detection, and intervention.

原始信息汇总

数据集概述：Persona Bias Counterfactuals

该数据集用于人格偏见（persona-bias）电路发现与干预实验，包含基于反事实（counterfactual）生成的示例。

• 许可证：other（其他）
• 任务类别：文本分类（text-classification）
• 语言：英语（en）
• 标签：机制可解释性（mechanistic-interpretability）、人格偏见（persona-bias）、反事实（counterfactuals）

数据集配置与结构

数据集按模型分为三个配置，每个配置包含三个拆分（策略）：

配置（模型）	拆分（策略）	数据文件路径
Llama-3.1-8B-Instruct	axis100_dir20_balanced	data/Llama-3.1-8B-Instruct/axis100_dir20_balanced.jsonl.gz
	original	data/Llama-3.1-8B-Instruct/original.jsonl.gz
	reverse_axis100_dir20_balanced	data/Llama-3.1-8B-Instruct/reverse_axis100_dir20_balanced.jsonl.gz
Llama-3.2-3B-Instruct	axis100_dir20_balanced	data/Llama-3.2-3B-Instruct/axis100_dir20_balanced.jsonl.gz
	original	data/Llama-3.2-3B-Instruct/original.jsonl.gz
	reverse_axis100_dir20_balanced	data/Llama-3.2-3B-Instruct/reverse_axis100_dir20_balanced.jsonl.gz
Qwen2.5-7B-Instruct	axis100_dir20_balanced	data/Qwen2.5-7B-Instruct/axis100_dir20_balanced.jsonl.gz
	original	data/Qwen2.5-7B-Instruct/original.jsonl.gz
	reverse_axis100_dir20_balanced	data/Qwen2.5-7B-Instruct/reverse_axis100_dir20_balanced.jsonl.gz

拆分策略说明

拆分名称	含义
original	完整原始反事实集，来源于人格扫描
axis100_dir20_balanced	论文主要使用的反事实子集，受轴/方向预算限制（推荐用于主电路发现）
reverse_axis100_dir20_balanced	反向方向的反事实子集，用于反向电路诊断

数据行数

按模型统计

模型	行数
Llama-3.1-8B-Instruct	78,694
Llama-3.2-3B-Instruct	146,819
Qwen2.5-7B-Instruct	279,910

按策略统计

策略	行数
axis100_dir20_balanced	11,711
original	482,001
reverse_axis100_dir20_balanced	11,711

主要任务与轴

主要任务：arc_easy、arc_challenge、ethics、safety、sst2

轴（Axes）：emotion、gender、race、religion

数据模式说明

• 所有直接源字段均以字符串形式存储，结构化值存储为JSON字符串。
• 完整原始行保留在 source_json 字段中。
• 常见的直接列包括：model、task、axis、strategy、counterfactual_strategy、source_file、summary_file、source_json 以及 sample_id、direction、clean_value、corrupt_value、clean_candidate、corrupt_candidate、clean_candidate_prediction、corrupt_candidate_prediction、clean_candidate_correct、corrupt_candidate_correct 等反事实字段。

加载方式

使用 datasets 库加载，示例： python from datasets import load_dataset ds = load_dataset("PersonaBias/counterfactuals", "Llama-3.2-3B-Instruct", split="axis100_dir20_balanced")

可通过 task 和 axis 列进行过滤，例如筛选取 arc_challenge 任务且轴为 emotion 的行。

搜集汇总

数据集介绍

构建方式

该数据集以多模型输出的反事实样本为核心，系统性地构建了一个用于个性偏见电路发现与干预实验的语料库。数据集的构建基于对多个大型语言模型（包括Llama-3.1-8B-Instruct、Llama-3.2-3B-Instruct和Qwen2.5-7B-Instruct）的个性扫描结果，通过特定的反事实策略生成不同的子集。主要策略包括原始完整集合（original）、主论文所使用的平衡子集（axis100_dir20_balanced）以及用于反向电路分析的反向方向子集（reverse_axis100_dir20_balanced）。每个子集均以jsonl.gz格式存储，并按模型和策略组织在相应的目录结构中。数据集中的每一行均包含任务、轴、方向等元数据列，以及原始样本的完整JSON结构，确保了数据的一致性和可追溯性。

特点

该数据集的核心特点在于其精细化的反事实设计，旨在揭示语言模型在不同个性轴（如情感、性别、种族、宗教）上的偏见表现。数据集覆盖了多项任务，包括ARC推理、伦理判断、安全性和情感分析等，为跨场景的偏见评估提供了丰富素材。通过轴和方向的维度组合，研究者能够精准定位特定偏见路径。同时，数据集提供了平衡的子集设计，有效地控制了样本分布，避免了因方向分布不均带来的分析偏差。此外，反向方向子集的引入支持电路双向诊断，增强了可解释性研究的深度。所有字段均以字符串形式存储，并通过source_json保留原始行信息，使得数据加载过程稳定可靠。

使用方法

使用该数据集时，研究者可通过Hugging Face的datasets库加载指定模型和策略的子集，例如使用load_dataset函数选择Llama-3.2-3B-Instruct模型下的axis100_dir20_balanced子集。随后，可利用内置的过滤方法按任务和轴进行精细筛选，例如筛选出arc_challenge任务中emotion轴的数据。由于部分字段（如预测结果和正确性）以字符串形式存储，研究者可借助提供的解析辅助函数（如parse_counterfactual_row）将字符串转换为整数或布尔值，以便进行类型化的分析。此外，通过访问source_json字段可获取完整的原始数据行，确保对实验细节的全面回溯。数据集还提供了丰富的示例代码，指导用户进行任务和轴的分布统计以及批量分析。

背景与挑战

背景概述

Persona Bias Counterfactuals数据集由研究团队于2024年创建，旨在探索大语言模型内部机制中的人格偏见（persona bias）现象。该数据集聚焦于理解模型在情感、性别、种族与宗教等多维度轴线上如何产生不一致的预测倾向，其核心研究问题是通过反事实样本揭示模型行为背后的电路级机制。数据集从Llama-3.1-8B-Instruct、Llama-3.2-3B-Instruct及Qwen2.5-7B-Instruct等主流指令微调模型中提取反事实示例，支持实验者通过精准的反事实策略分析偏见来源。该数据集为机械可解释性领域提供了标准化的评估资源，推动了模型内部偏见电路的发现与干预研究，在NLP伦理与模型对齐方面具有显著影响力。

当前挑战

该数据集解决的领域问题是大语言模型中的隐性人格偏见检测与归因，挑战在于如何从模型输出的微小差异中可靠地识别出系统性偏见模式。构建过程中，研究者面临多重挑战：首先，跨任务（如ARC挑战、伦理判断、情感分析）生成的原始反事实样本存在类型异质性，数值预测与文本预测的混合存储使得统一加载成为难题；其次，为确保偏见方向的可逆分析，需要设计平衡的axis/direction预算策略以避免样本分布偏斜；此外，模型输出的原始字段需保留为JSON字符串以兼容差异，但后续解析和类型转换增加了数据使用的复杂度。最终，通过精心设计的平衡子集（axis100_dir20_balanced）缓解了这些问题，为可复现的机械可解释性实验奠定了基础。

常用场景

经典使用场景

在大语言模型的机械可解释性研究中，Persona Bias Counterfactuals数据集被广泛用于揭示模型内部的人格偏差回路。该数据集专为因果干预实验设计，通过构建精心平衡的反事实样本，使研究者能够定位模型在推理过程中受到何种人格特征（如性别、种族、宗教或情感）影响的神经机制。其经典使用方式是将原始反事实集与轴线平衡子集配合使用，通过比较干净样本与扰动样本的预测差异，进而识别出对特定偏差维度敏感的中间表征层与注意力头。

实际应用

在实际应用中，Persona Bias Counterfactuals为构建更公平、更可控的大语言模型提供了实验基石。开发者可以借助该数据集中的偏差发现结果，设计针对性的模型微调策略或推理时干预算法——例如通过抑制对性别或种族敏感的注意力头，从而在保留模型通用能力的同时削弱潜在歧视性输出。此外，该数据集已被集成到模型审计流程中，帮助AI安全团队对上线前的模型进行公平性压力测试，确保系统在涉及敏感属性的用户交互中保持公正与中立。

衍生相关工作

该数据集衍生出了一系列在机械可解释性与偏差干预领域具有里程碑意义的研究工作。基于其反事实架构，研究者开发了反转回路分析（reverse-circuit analysis）技术，通过对比原方向与反转方向的反事实效应，更精确地分离出偏差相关神经模块。此外，轴线平衡子集的引入催生了面向多维度偏差的联合干预框架，例如同时考虑情感与性别交叉影响的回路剪枝方法。这些后续工作共同构建了一个从偏差发现、因果验证到模型修复的完整技术链条，显著提升了语言模型安全部署的可操作性。