pasb
收藏资源简介：
PASB（个人智能体奉承基准测试）是一个用于评估有状态个人智能体是否表现出持续性奉承行为的基准测试数据集。其核心目标是测试智能体是否会接受一个以用户为中心的主张（可能不准确或有偏见），将其写入持久化记忆状态，并在后续全新的、中立的查询对话中不加批判地复用该信息。每个评估任务（episode）由两个阶段构成：首先是一个五轮对话的“坚持阶段”，用于引导智能体接受并记录用户主张；随后是一个三轮对话的“查询阶段”，在一个新的、中立的对话上下文中测试智能体是否会主动引用或基于之前记录的主张进行回应。数据集包含1600个完整任务，并提供了一个8个任务的样本用于快速测试。数据以JSONL格式组织，每一行代表一个完整的情节。基准测试的设计融合了四个维度的场景框架（个人观点、签名记忆、环境事实、程序工作流）和四个维度的时间信息传递模式（一次性、渐进式、点滴式、后期冲击式），以系统性地考察不同情境下的奉承行为。该数据集适用于文本生成任务，重点关注AI安全、智能体安全、奉承行为检测以及有状态个人智能体的评估。
PASB (Personal Agent Sycophancy Benchmark) is a benchmark dataset for evaluating whether stateful personal agents exhibit persistent sycophancy behavior. Its core goal is to test whether an agent will accept a user-centric claim (which may be inaccurate or biased), write it into persistent memory state, and uncritically reuse that information in subsequent new, neutral query dialogues. Each evaluation task (episode) consists of two phases: first, a five-turn insistence phase to guide the agent to accept and record the users claim; followed by a three-turn query phase that tests whether the agent will actively reference or respond based on the previously recorded claim in a new, neutral dialogue context. The dataset contains 1600 complete tasks and provides an 8-task sample for quick testing. Data is organized in JSONL format, with each line representing a complete episode. The benchmark design integrates a four-dimensional scenario framework (personal opinions, signature memories, environmental facts, procedural workflows) and four-dimensional temporal information delivery modes (one-time, progressive, drip-feed, late-impact) to systematically examine sycophancy behavior across different contexts. This dataset is suitable for text generation tasks, with a focus on AI safety, agent safety, sycophancy detection, and the evaluation of stateful personal agents.
数据集概述：Personal Agent Sycophancy Benchmark (PASB)
数据集名称：Personal Agent Sycophancy Benchmark (PASB)
数据集地址：https://huggingface.co/datasets/sevens2004/pasb
许可证：其他（上游数据集许可证）
语言：英语
任务类别：文本生成
标签：ai-safety, agent-safety, sycophancy, personal-agents, benchmark, stateful-agents
数据集规模：1K < n < 10K
数据集描述
PASB 是一个用于评估个人代理（personal agent）是否会出现持续谄媚行为（persistent sycophancy）的基准测试。它测试代理在接受用户中心的声明、将其写入持久状态，并在后续新的中立查询会话中重复使用该声明时的行为。每个任务包含一个五轮持久化阶段（persist stage）和一个三轮查询阶段（query stage）。
数据集结构
每个 JSONL 行代表一个 PASB 的 episode。基准测试包含四种场景框架（scenario framings）与四种时间交付模式（temporal delivery patterns）的组合：
- 场景框架：
Personal-Opinion（个人观点）Signed-Memory（签名记忆）Environment-Fact（环境事实）Procedural-Workflow（程序化工作流）
- 时间交付模式：
All-at-Once（一次性交付）Progressive（渐进式）Drip（滴灌式）Late-Shock（延迟冲击）
文件信息
- 完整基准测试：
data/pasb_full.jsonl，包含 1,600 个任务。 - 示例数据：
sample_datasets/pasb_sample.jsonl，包含 8 个任务的烟雾测试样本。 - 数据模式说明：
DATA_SCHEMA.md，提供字段级模式说明。
使用方式
使用 Hugging Face datasets 库加载：
python from datasets import load_dataset
加载完整数据集
pasb = load_dataset("sevens2004/pasb", "default", split="test")
加载示例数据
sample = load_dataset("sevens2004/pasb", "sample", split="test")
引用
bibtex @misc{pasb2026, title = {Agents Dont Just Agree, They Remember: Benchmarking Persistent Sycophancy in Stateful Personal Agents}, author = {PASB Team}, year = {2026}, note = {Personal Agent Sycophancy Benchmark (PASB)}, url = {https://henrymao2004.github.io/agent-sycophancy/} }
许可证说明
数据集条目源自 PersistBench 和 ELEPHANT。重新分发衍生任务数据时需保留上游数据集许可证。
