RUPC_Benchmark

这是一个用于评估LLM代理在对抗性交互中是否尊重用户指定隐私约束的基准测试数据集。数据集是合成生成的，不包含真实的个人数据。

This is a benchmark dataset for evaluating whether LLM Agents respect user-specified privacy constraints during adversarial interactions. The dataset is synthetically generated and does not contain any real personal data.

原始信息汇总

RUPC_Benchmark 数据集概述

数据集简介

RUPC_Benchmark 是一个用于评估大语言模型（LLM）代理在与对抗方交互时，是否能够尊重用户指定的隐私约束的基准测试集。

许可信息

• 代码许可：MIT License
• 数据集许可：Creative Commons Attribution 4.0 International License (CC BY 4.0)
• 版权：© 2026 VeriPriv Authors
• 数据来源：数据集为合成生成，不包含真实个人数据。

引用信息

如果使用 VeriPriv，请引用以下文献：

@article{veripriv2026, title={VeriPriv: A Structured and Verifiable Benchmark for Privacy--Utility Evaluation in LLM Interactions}, author={Anonymous Authors}, year={2026} }

数据集地址

• 主页：https://github.com/qiaoyuan667/RUPC_Benchmark

搜集汇总

数据集介绍

构建方式

RUPC_Benchmark通过合成数据生成技术构建，专门用于评估大语言模型（LLM）智能体在与对抗性对手交互时，能否严格遵循用户指定的隐私约束。数据集基于结构化隐私规则模板，模拟真实场景下的隐私边界设定，确保不包含任何真实个人信息，完全遵循CC BY 4.0许可协议。每个样本包含用户预设的隐私指令、对话上下文以及潜在的隐私泄露诱因，从而形成可量化验证的评估单元。

特点

该数据集的核心特色在于其结构化与可验证性，能够系统性地测试LLM在隐私-效用权衡中的表现。与常规隐私评估基准不同，RUPC_Benchmark聚焦于对抗性交互场景，通过精心设计的案例考察模型面对诱导性提问时的防御能力。数据集采用合成数据策略规避伦理风险，同时保持隐私约束的多样性与复杂度，支持细粒度的隐私违规检测与性能量化分析。

使用方法

使用RUPC_Benchmark时，用户需在设定隐私参数后驱动LLM与基准内置的对抗性对手展开模拟对话，通过记录模型响应并对照预设隐私约束完成违规判定。评估流程支持自动化执行，提供标准化脚本加载测试案例并比对输出合规性，最终生成包含违规比例与平均效用值的评测报告。该基准兼容主流LLM接口，便于研究者快速横向比较不同模型或隐私策略的实际效果。

背景与挑战

背景概述

随着大型语言模型（LLM）在多智能体交互场景中的广泛应用，用户隐私保护成为亟待解决的核心议题。RUPC_Benchmark由VeriPriv研究团队于2026年创建，旨在系统评估LLM智能体在与对抗性对手交互时，能否严格遵守用户指定的隐私约束。该基准专注于量化隐私保护与任务效用之间的权衡，填补了现有评估体系在交互式隐私合规性方面的空白，为构建可信赖的AI系统提供了关键测试平台。

当前挑战

RUPC_Benchmark主要应对两大挑战：其一，解决领域内缺乏标准化隐私约束评估基准的困境，现有方法多聚焦于静态数据脱敏，未能覆盖动态交互中智能体主动泄露隐私的复杂场景；其二，构建过程中需合成大规模无真实个人信息的高保真交互数据，确保模拟的对抗策略能有效诱发隐私泄露漏洞，同时平衡数据集规模与场景多样性，避免过度拟合特定攻击模式。

常用场景

经典使用场景

在大型语言模型（LLM）与用户日益频繁的交互中，保护用户隐私约束不被敌对代理利用成为关键挑战。RUPC_Benchmark作为一个标准化基准，专为评估LLM代理在面临恶意对手时，能否严格遵循用户预设的隐私边界而设计。其经典使用场景涉及模拟对话环境，其中测试LLM在处理包含敏感信息的请求时，如何平衡响应功能与隐私保护，从而为模型部署前的安全审计提供可靠测试平台。

解决学术问题

该数据集解决了隐私保护领域中缺乏可量化、可复现评估标准的核心问题。传统方法多依赖主观判断，难以验证LLM在复杂交互中是否真正尊重用户隐私约束。RUPC_Benchmark通过结构化任务和预定义约束，为研究者提供统一度量工具，填补了从理论隐私模型到实际系统评估的鸿沟，推动了可信赖AI与隐私计算交叉方向的实证研究。

衍生相关工作

该数据集催生了多项经典衍生工作，包括开发更鲁棒的隐私感知推理算法，以及设计对抗训练框架以增强LLM对隐私约束的泛化能力。研究者基于此基准提出了可验证的隐私—效用权衡模型，并探索了形式化验证方法，使隐私承诺可被数学证明。此外，相关的多轮对话隐私边界动态调整机制也成为后续研究热点，推动了隐私保护从静态规则向自适应智能的演进。