narcbench

NARCBench 是一个用于评估多智能体在环境分布变化下的共谋检测的三层基准数据集。该数据集包含预提取的模型激活数据和原始场景数据，涵盖248个多智能体交互运行，分布在三个结构上逐渐远离训练数据的层级中。数据集结构包括激活数据（来自Qwen3-32B模型的64层、5120维的激活）和场景数据（提示、对话和结果）。三个层级分别为：Core（50个委员会审议场景，用于探针训练和分布内评估）、Transfer（六种结构不同的场景类型，用于零样本分布外评估）和Stego（隐写式二十一点计牌，最远离训练数据的层级）。每个层级的激活数据以Numpy存档格式提供，包含各层的激活和元数据；场景数据则包含运行配置、结果和智能体提示。该数据集适用于多智能体共谋检测、可解释性和AI安全相关研究。

原始信息汇总

NARCBench数据集概述

数据集基本信息

• 数据集名称：NARCBench (Neural Activation Reading for Collusion Benchmark)
• 许可协议：MIT
• 数据规模：1K<n<10K
• 任务类别：文本分类
• 标签：多智能体、可解释性、共谋检测、激活探针、AI安全

数据集简介

NARCBench是一个用于评估环境分布变化下多智能体共谋检测的三层基准测试。它包含248个多智能体交互运行的预提取模型激活和原始场景数据，覆盖三个层级，这些层级与训练数据的结构距离逐渐增加。

该数据集是论文《Detecting Multi-Agent Collusion Through Multi-Agent Interpretability》的官方基准测试。

代码仓库地址：https://github.com/aaronrose227/narcbench

数据集结构

数据集主要包含两个部分：

1. activations/：预提取的Qwen3-32B模型激活（64层，5120维）
   • qwen3_32b/core/：1,700个样本（50个场景 × 2种条件 × ~4个智能体）
   • qwen3_32b/transfer/：432个样本（6种类型 × 6个子场景 × 3种条件 × 4个智能体）
   • qwen3_32b/stego/：1,320个样本（20个鞋子 × 2种条件 × ~33个提示）
2. scenarios/：原始场景数据（提示、对话、结果）
   • core/：100次运行（50次共谋 + 50次控制）
   • transfer/：108次运行（36次共谋 + 36次控制 + 36次隐式）
   • stego/：40次运行（20次共谋 + 20次控制）

层级描述

• 核心层：包含17个领域的50个委员会审议场景。四个智能体中有两个被秘密指示进行共谋。用于通过留领域交叉验证进行探针训练和分布内评估。
• 迁移层：包含六种结构不同的场景类型（代码审查破坏、拉高倒货股票操纵、CI/CD管道破坏、RAG投毒、研究政策倾斜、新闻框架）。用于零样本分布外评估。
• 隐写层：隐写式二十一点算牌场景。两个智能体预先协商一个隐蔽的信令方案，并通过自然的桌面谈话传递隐藏信息。这是与训练数据结构距离最远的层级。

文件说明

激活文件

每个层级包含：

• activations_gen.npz：Numpy存档文件，包含键值layer_0到layer_63，每个形状为(N, 5120)，数据类型为float32。
• metadata_gen.json：每个样本的元数据，包括run_id、mode（共谋/控制）、role（共谋者/诚实者）、phase、channel、agent_name等字段。

场景文件

每个场景运行目录包含：

• run_config.json：场景设置、智能体角色和联盟成员信息。
• results.json：完整的对话记录、投票和结果。
• agent_prompts.json：每轮发送给每个智能体的确切系统和用户提示。

使用方法

下载数据

可以使用Hugging Face CLI下载数据： bash huggingface-cli download aaronrose227/narcbench --repo-type dataset --local-dir data

加载激活数据

python import json import numpy as np

加载激活数据

meta = json.load(open("activations/qwen3_32b/core/metadata_gen.json")) npz = np.load("activations/qwen3_32b/core/activations_gen.npz") layer_28 = npz["layer_28"] # 形状: (1700, 5120)

引用信息

bibtex @article{rose2026narcbench, title={Detecting Multi-Agent Collusion Through Multi-Agent Interpretability}, author={Rose, Aaron and Cullen, Carissa and Kaplowitz, Brandon Gary and Schroeder de Witt, Christian}, year={2026} }

搜集汇总

数据集介绍

构建方式

在人工智能安全领域，多智能体协作中的共谋行为检测是一个关键挑战。NARCBench数据集的构建采用了三层递进式结构，以系统评估模型在环境分布偏移下的共谋检测能力。其核心层包含50个委员会审议场景，覆盖17个不同领域，其中两个智能体被秘密指示进行共谋，用于探针训练和领域内留出交叉验证。转移层设计了六种结构迥异的场景类型，如代码审查破坏和股票市场操纵，旨在进行零样本分布外评估。隐写层则引入了最复杂的黑杰克记牌场景，智能体通过自然对话传递隐蔽信号，构成了与训练数据在结构上距离最远的评估层级。整个数据集基于248次多智能体交互运行，提取了Qwen3-32B模型64层的激活数据，并保留了完整的原始场景信息。

特点

该数据集的核心特征体现在其精心设计的三层评估架构上，每一层都针对共谋检测的不同维度。核心层提供了丰富的领域内场景，支持探针训练和稳健的交叉验证。转移层通过六种截然不同的任务类型，有效测试模型在未知结构下的泛化能力。隐写层则模拟了现实世界中智能体通过隐写通信进行共谋的复杂情形，对模型的解释性提出了最高要求。数据集不仅包含预提取的5120维高维激活向量，覆盖模型全部64个层次，还提供了完整的原始对话记录、投票结果和智能体提示，为多角度分析提供了坚实基础。这种多层次、多模态的数据结构，使得NARCBench成为评估多智能体共谋检测方法的理想基准。

使用方法

研究人员可通过Hugging Face命令行工具便捷下载整个数据集，其结构清晰的目录便于直接访问不同层级的激活数据和场景文件。加载预提取的激活数据时，只需使用标准NumPy和JSON库读取相应的.npz和.json文件，即可获取各层的激活矩阵和丰富的元数据。对于原始场景数据，数据集提供了完整的运行配置、对话记录和智能体提示，支持对共谋行为的细粒度分析。在实际应用中，用户可首先利用核心层数据进行探针训练和验证，随后在转移层和隐写层上评估模型的泛化性能。这种分层使用方法，能够系统检验共谋检测方法在分布内和分布外场景下的鲁棒性与解释能力。

背景与挑战

背景概述

随着多智能体系统的广泛应用，智能体间潜在的共谋行为对系统安全构成严峻威胁。NARCBench数据集由Aaron Rose等研究人员于2026年创建，旨在为多智能体共谋检测提供标准化评估基准。该数据集聚焦于环境分布偏移下的共谋行为识别，通过预提取的模型激活与原始场景数据，为可解释性研究提供了关键支撑。其核心研究问题在于探索如何利用神经激活探针技术，从多智能体交互中有效识别隐蔽的协同作弊行为，对人工智能安全与可信多智能体系统的发展具有重要推动作用。

当前挑战

在领域层面，多智能体共谋检测面临环境分布偏移的严峻挑战，智能体在训练分布外的场景中可能采用隐式或结构迥异的共谋策略，传统方法难以泛化。NARCBench通过设立核心、迁移与隐写三个层级，模拟了从领域内到高度结构异质的测试环境，要求模型具备强大的跨分布鲁棒性。在构建过程中，数据集需精确设计多样化的共谋场景，涵盖委员会审议、代码审查破坏、股票操纵等十七个领域，并确保激活数据与元数据的对齐一致性，这对场景的真实性与数据标注的准确性提出了极高要求。

常用场景

经典使用场景

在多智能体系统研究中，NARCBench数据集被广泛应用于评估智能体之间的合谋检测能力。其核心场景模拟了委员会审议过程，其中两个智能体被秘密指令进行合谋，而其余智能体保持诚实行为。研究者通过该数据集训练激活探针，利用预提取的神经网络激活数据，分析智能体在交互过程中的内部表征变化，从而识别潜在的合谋模式。这一场景为多智能体安全领域提供了标准化的评估框架，促进了模型可解释性研究的深入发展。

实际应用

在实际应用中，NARCBench数据集可服务于多个关键领域。在金融监管场景中，其模拟的股票操纵与代码审查破坏等转移层任务，能够帮助开发监测算法，以识别市场中的协同欺诈行为。在网络安全领域，数据集中的CI/CD管道破坏与RAG投毒场景，为检测恶意软件或数据污染攻击提供了测试平台。此外，新闻框架与政策倾斜任务可用于评估信息传播系统中的偏见合谋，助力内容审核与舆论分析工具的优化，提升数字生态的治理效能。

衍生相关工作

围绕NARCBench数据集，已衍生出一系列经典研究工作。原始论文《通过多智能体可解释性检测多智能体合谋》提出了基于激活探针的合谋检测框架，为后续研究奠定了方法论基础。在此基础上，学者们进一步探索了跨层泛化机制，开发了针对隐写层黑杰克计牌任务的解码算法，增强了模型对结构化距离信号的敏感性。同时，该数据集也激发了多智能体对齐领域的新方向，促使研究者设计更精细的干预策略与安全协议，以应对复杂环境中的协同对抗行为。