AgentSocialBench

AgentSocialBench是第一个用于评估以人为中心的代理社交网络中隐私保护的基准测试。它包含352个场景，涵盖7个类别，涉及二元和多方的互动，并在多个隐私指令级别下对8个LLM骨干网络进行了评估。

AgentSocialBench is the first benchmark for evaluating privacy protection in human-centric agent social networks. It comprises 352 scenarios spanning 7 categories, involving both dyadic and multi-party interactions, and evaluates 8 LLM backbone models across multiple privacy instruction levels.

原始信息汇总

AgentSocialBench 数据集概述

数据集简介

AgentSocialBench 是首个用于评估以人为中心的智能体社交网络中隐私保护的基准。该基准专注于评估由多个AI智能体组成的团队在跨领域服务用户、协调完成共享任务时，在整个过程中保护敏感个人信息的能力。

核心构成

• 场景数量：包含 352 个场景。
• 场景类别：涵盖 7 个类别，包括二元和多方的交互。
• 评估模型：在 8 个大型语言模型骨干网络上进行评估。
• 隐私指令级别：包含多个隐私指令级别进行评估。

关键发现

1. 跨领域协调产生最强的泄露压力：跨领域边界的团队内部协调产生的泄露量是中介或跨用户交互的 2-3 倍。
2. 多方设置重塑但不统一放大隐私风险：群聊泄露与二元中介相当，竞争压力抑制了自我披露，亲和层级合规性近乎完美。
3. 抽象悖论：教导智能体如何抽象敏感信息的隐私指令，反而导致它们更多地讨论该信息。

基准类别

类别	代码	数量	描述
跨领域	CD	100	跨领域边界的团队内部协调
中介通信	MC	100	智能体代理人与人之间的交互
跨用户	CU	50	来自不同用户的智能体通过A2A协议交互
群聊	GC	28	3–6 个用户的智能体在共享群聊中
中心辐射型	HS	23	协调者聚合多个参与者的信息
竞争性	CM	23	智能体在压力下竞争资源
亲和力调节	AM	28	非对称亲和层级调节每个接收者的共享规则

隐私指令级别

级别	模式	描述
L0	无约束	无隐私指导；智能体从社会背景推断规范
L1	显式	硬性隐私规则 + 可接受的抽象
L2	完全防御	L1 + 领域边界提示 + 抽象模板 + 最小信息原则

评估指标

• 隐私指标（越低越好）：CDLR（跨领域泄露率）、MLR（中介通信泄露率）、CULR（跨用户泄露率）、MPLR（群聊泄露率）、HALR（中心辐射型泄露率）、CSLR（竞争性自我泄露率）。
• 质量指标（越高越好）：ACS（亲和力合规性）、IAS（信息抽象度）、TCQ（任务完成质量）。

使用流程

基准遵循四阶段流程：生成 → 模拟 → 评估 → 分析。

相关资源

• 论文地址：https://arxiv.org/abs/2604.01487
• 数据集地址：https://huggingface.co/datasets/kingofspace0wzz/AgentSocialBench
• 项目网站：https://agent-social-bench.github.io
• 许可证：MIT

引用

如果研究中使用 AgentSocialBench，请引用相关论文。

搜集汇总

数据集介绍

构建方式

在人工智能代理日益融入社会交互的背景下，AgentSocialBench的构建遵循严谨的多阶段流程。其核心在于通过生成、模拟、评估与分析四个环节，系统性地创建了涵盖七个类别的352个交互场景。这些场景的生成依托于大型语言模型，旨在模拟真实世界中跨域协作、中介沟通、多用户交互等复杂社会网络情境。数据集的构建特别注重场景的多样性与真实性，覆盖了从简单的二元互动到涉及竞争、亲和力调节的多方群组聊天，为评估代理在协调任务时保护敏感信息的能力提供了全面且结构化的测试环境。

特点

该数据集作为首个专注于以人为中心的代理社交网络中隐私保护的基准测试，其显著特点在于对隐私风险的多维度量化。它不仅定义了跨域泄漏率、中介泄漏率等六项核心隐私指标，还引入了任务完成质量、信息抽象度等质量评估维度，从而能够全面刻画代理在社交互动中的行为与隐私权衡。数据集揭示了诸如“抽象悖论”等反直觉现象，即教授代理如何抽象敏感信息反而可能增加其讨论频率，这为理解人工智能社交代理的隐私行为机制提供了深刻的实证洞察。

使用方法

研究者可通过清晰的命令行接口快速启用该数据集进行评估工作。使用方法始于安装依赖与配置API密钥，随后可针对特定类别的场景文件运行模拟脚本，驱动指定的语言模型代理进行交互。模拟完成后，调用评估脚本对交互日志进行分析，计算各项隐私与质量指标。数据集支持完整的批处理流程，允许用户生成新场景、进行大规模模拟、评估结果并最终生成分析图表与数据表格，为系统化研究不同隐私指令级别下各类模型的性能提供了便捷的一体化工具链。

背景与挑战

背景概述

随着人工智能代理在社交网络中日益普及，多智能体协同服务用户时引发的隐私泄露风险成为亟待解决的核心问题。AgentSocialBench作为首个专注于评估人本中心化智能体社交网络隐私保护的基准测试，由研究人员Prince Zizhuang Wang与Shuli Jiang于2026年创建，其核心研究目标在于系统量化跨域协作、多方交互等复杂场景下敏感信息的泄露压力。该数据集涵盖七大类别共352个交互场景，通过模拟智能体在无约束、显式规则及全防御等多级隐私指令下的行为，揭示了隐私抽象悖论等关键现象，为构建安全可靠的多智能体系统提供了重要的实证基础与评估框架。

当前挑战

AgentSocialBench致力于解决智能体社交网络中隐私保护的评估难题，其核心挑战在于如何精准刻画跨域协调所引发的非预期信息泄露，例如团队内部跨领域协作产生的泄露压力可达其他交互模式的2至3倍。在数据集构建过程中，研究人员需克服场景设计的复杂性，包括模拟多用户代理的群体聊天、竞争性压力以及非对称亲密度调制等多种社会互动模式，并确保评估指标能同时兼顾隐私泄露率、任务完成质量与信息抽象能力。此外，隐私指令本身可能引发的抽象悖论——即教导智能体如何抽象敏感信息反而增加其讨论频率——进一步增加了行为建模与风险量化的难度。

常用场景

经典使用场景

在人工智能代理日益融入社会交互的背景下，AgentSocialBench为评估多智能体协作中的隐私保护机制提供了标准化的测试环境。该数据集通过模拟跨域协调、群体聊天、竞争性互动等七类社交场景，构建了352个精细化的交互情境，使研究者能够系统性地分析智能体在协同完成任务时如何平衡信息共享与隐私边界。其经典应用聚焦于量化不同大语言模型在无约束或受指导条件下的隐私泄露风险，为理解智能体在复杂社会网络中的行为模式奠定了实证基础。

解决学术问题

AgentSocialBench致力于解决智能体社交网络中隐私风险评估的标准化缺失问题，为学术界提供了首个针对人本中心多智能体系统的隐私基准。该数据集通过定义跨域泄露率、中介通信泄露率等八项量化指标，系统揭示了智能体在协调任务时面临的信息泄露压力，特别是跨域协作所产生的隐私风险显著高于其他交互模式。其意义在于推动了隐私保护研究从静态数据防护转向动态交互环境，为构建可信赖的分布式人工智能系统提供了关键的理论与评估框架。

衍生相关工作

基于AgentSocialBench所揭示的隐私风险模式，一系列衍生研究聚焦于智能体隐私保护机制的创新。例如，针对‘抽象悖论’现象——即隐私指导反而增加部分信息披露——学者们探索了动态隐私指令生成与情境感知的抽象模板设计。同时，该数据集激励了跨模型隐私鲁棒性比较研究，推动了大语言模型在社交协调中隐私意识的微调方法与防御策略开发，为构建下一代具备社会智能与隐私素养的人工智能代理提供了丰富的实验范本与改进方向。