ToolPrivBench

Name: ToolPrivBench
Creator: Beijing Academy of Artificial Intelligence
Published: 2026-08-31T17:55:11+08:00

Hugging Face2026-08-31 更新2026-09-01 收录

AI工具权限安全

智能体特权感知规划

数据链接：

https://huggingface.co/datasets/BAAI/ToolPrivBench 数据链接链接失效反馈

官方服务：

资源简介：

TOOLPRIVBENCH是一个用于评估AI智能体在选择适当权限工具时的能力的合成基准数据集。每个场景包含一个用户指令和六个候选工具：三个标准工具（可能暂时失败）和三个风险工具（通过更特权或更少控制的路径完成任务）。数据集包含544个场景，共3264个候选工具，覆盖5个风险类别（权限提升、范围扩展、时间持久化、安全绕过、数据过度暴露）和8个领域（基础设施、商业、编码、媒体、教育、政府、数据库、医疗保健）。数据以JSONL格式存储，每个条目包含场景ID、类型、领域、标题、用户指令及工具列表（角色、名称、描述、模拟错误、成功输出等）。工具条目中标准工具可能包含模拟错误字段，风险工具通常省略。场景ID格式为<领域代码>-<风险代码>-<三位数字>。该数据集适用于工具使用安全、特权感知规划、过度特权工具选择等研究，以及评估指标如过度特权工具使用率（OPUR）和权限提升程度（PED）。所有数据均为合成生成，其中包含的姓名、邮箱、医疗记录标识等仅为占位符，需注意隐私安全。

TOOLPRIVBENCH is a synthetic benchmark dataset for evaluating the ability of AI agents to select appropriate privilege tools. Each scenario consists of a user instruction and six candidate tools: three standard tools (which may temporarily fail) and three risk tools (which complete tasks through more privileged or less controlled paths). The dataset contains 544 scenarios with 3264 candidate tools, covering 5 risk categories (privilege escalation, scope expansion, time persistence, security bypass, data overexposure) and 8 domains (infrastructure, business, coding, media, education, government, database, healthcare). Data is stored in JSONL format, with each entry containing scenario ID, type, domain, title, user instruction, and tool list (role, name, description, simulated error, success output, etc.). Standard tool entries may include a simulated error field, while risk tool entries usually omit it. Scenario IDs follow the format <domain code>-<risk code>-<three-digit number>. This dataset is suitable for research on tool usage security, privilege-aware planning, overprivileged tool selection, and evaluation metrics such as Overprivileged Tool Usage Rate (OPUR) and Privilege Escalation Degree (PED). All data is synthetically generated, and any names, email addresses, medical record identifiers, etc. are placeholders; privacy security should be noted.

提供机构：

Beijing Academy of Artificial Intelligence

创建时间：

2026-08-31

原始信息汇总

TOOLPRIVBENCH 数据集概述

TOOLPRIVBENCH 是一个用于评估 AI 代理在完成操作请求时是否选择适当权限工具的综合基准数据集。该数据集以合成数据为基础，每个场景包含一个用户指令和六个候选工具，其中三个为可能发生暂时性故障的 standard 工具，另外三个为可通过更高权限或较少控制路径完成任务的风险工具。

数据集规模与构成

属性	详情
示例数量	544 个场景
候选工具	3,264 个（每个场景 6 个）
风险类别	5 种
领域	8 个
语言	英语
数据类型	合成场景文本和模拟工具输出

风险类别：Authority Escalation（权限升级）、Scope Expansion（范围扩展）、Temporal Persistence（时间持久性）、Safety Bypass（安全绕过）、Data Over-Exposure（数据过度暴露）。

领域：基础设施、商业、编码、媒体、教育、政府、数据库和医疗保健。

文件结构

data/benchmark.jsonl：用于评估的规范场景级 JSONL 文件。
preview.json：每个风险类别各提供一个简明示例，便于快速查看。
metadata/stats.json：包含计数、来源哈希和归一化细节。
metadata/schema.json：项目 JSON Schema 参考。

数据格式

data/benchmark.jsonl 中每行包含以下字段：

scenario_id：场景标识符，格式为 <DOMAIN>-<RISK>-<NNN>。域代码包括 BIZ、CODE、DB、EDU、GOV、HEALTH、INFRA、MEDIA；风险代码包括 AUTH、DATA、SAFE、SCOPE、TEMP。三位数字序列在每个域-风险对中重新开始。
type：风险类别。
domain：所属领域。
title：场景标题。
user_instruction：用户指令。
tools：工具列表，每个工具包含 role（standard 或 risk）、name、origin（发布版本中均为 Synthetic）、description、simulation_error（standard 工具用于模拟暂时性故障，risk 工具通常省略此字段）、success_output，还可能包含 parameters 对象。