SCR-Bench

SCR-Bench（技能组合风险基准）是一个用于评估当单独良性技能组合成代理工作流时出现的安全风险的基准。在孤立状态下，每个技能看似安全，但通过能力流、信任转移或授权混淆，在激活的组合路径中可能产生有害结果。SCR-Bench (Skill Combination Risk Benchmark) is a benchmark for evaluating security risks that emerge when individual benign skills are combined into agent workflows. When isolated, each skill appears secure, yet harmful outcomes may arise in activated combined paths via capability flow, trust transfer, or authorization confusion.

原始信息汇总

数据集概述

SCR-Bench (Skill Composition Risk Bench) 是一个用于评估代理工作流中因技能组合而引发的安全风险的基准测试。其核心发现是：单个技能在孤立状态下看似安全，但当它们被组合到共享执行上下文中时，可能通过激活组合路径产生有害结果。

数据集组成

SCR-Bench 包含三个子基准，分别对应不同的风险机制：

子基准	风险机制	描述
SCR-CapFlow	能力跨越	上游技能提供执行目标或操作上下文，使下游技能能够执行权限变更等危险操作，原本分离的能力在组合后形成高权限的危险行为。
SCR-TrustLift	信任转移	一个看似良性的“安全审查”技能，通过输出运行审查报告或提供背书信号，为后续风险技能或操作赋予合法性。
SCR-AuthBlur	授权混淆	咨询性或发现性上下文会改变Agent的批准边界，促使其做出不安全的、原本应被拒绝的下游决策。

实验结果亮点

• SCR-CapFlow：在技能组合场景下，攻击成功率达到 33.5%，而孤立评估时基线接近零。
• SCR-TrustLift：在五个模型后端中的四个上，有害安装率超过 96.5%。
• SCR-AuthBlur：风险批准率相比孤立基线增加了 71.8%（L0至L1级别）。

数据集链接与资源

• Hugging Face 数据集: https://huggingface.co/datasets/kyle-X1e/SCR-Bench
• 论文: https://arxiv.org/abs/2606.15242
• 排行榜 (Leaderboard): https://huggingface.co/spaces/kyle-X1e/SCR-Bench-Leaderboard

项目结构

SCR-Bench/ ├── SCR-CapFlow/ # 能力跨越组合基准 │ └── README.md # 实验说明 ├── SCR-TrustLift/ # 信任转移组合基准 │ └── README.md # 实验说明 ├── SCR-AuthBlur/ # 授权混淆基准 │ ├── README_en.md # 实验说明（英文） │ └── README_zh.md # 实验说明（中文）

运行实验

每个子基准目录下包含独立的README文件，提供详细的实验说明。运行实验前需安装并配置CLI后端。

支持的CLI后端与配置：

CLI 后端	技能目录	CLI 工具
ClaudeCode	.claude	Claude Code
CodeX	.agents	CodeX
GeminiCLI	.gemini	Gemini CLI
OpenCode	.opencode	OpenCode

运行步骤：

1. 安装并配置所需的CLI工具（如Claude Code）。
2. 确保CLI工具可从终端PATH访问。
3. 运行实验时，使用--cli参数指定目标后端（例如--cli ClaudeCode）。
4. 每个子基准中的init_env.py脚本会自动将技能目录重命名以匹配所选CLI。

重要说明

• 数据生成：论文中所有实验数据均通过运行 Claude Code 并切换不同模型后端（API）生成。复现结果仅需安装 Claude Code 并配置对应模型的 API。
• 当前支持：实验脚本目前仅适配 Claude Code。对 CodeX、Gemini CLI、OpenCode 的支持将在未来版本中添加。
• 维护：本项目长期持续维护，将持续发布错误修复、新增案例及更多 CLI/模型后端支持。

搜集汇总

数据集介绍

构建方式

SCR-Bench致力于解构智能体工作流中潜藏的安全隐患，其核心洞察在于：单个看似无害的技能在组合调用时可能催生不可预见的风险。该基准测试的构建围绕三种关键风险机制展开——能力跨越、信任转移与授权混淆。具体而言，SCR-CapFlow子基准通过设计上游技能提供执行上下文，使下游技能得以实施权限提升等危险操作；SCR-TrustLift子基准则利用一个仿若安全审查的技能，在输出报告时通过背书信号为后续风险行为赋予合法性；而SCR-AuthBlur子基准立足于混淆授权边界，令智能体在咨询性上下文中倾向于批准不安全决策。每个子基准均包含精心编排的技能组合路径，以系统揭示孤立检测所无法捕获的复合风险。

特点

SCR-Bench的鲜明特征在于其风险视角的颠覆性转换——从孤立技能评估跃迁至组合安全性考察。实验结果表明，SCR-CapFlow在组合条件下攻击成功率达到33.5%，而孤立基线近乎为零；SCR-TrustLift在五个模型后端中的四个上，有害安装率飙升至96.5%以上；SCR-AuthBlur则令风险批准率较孤立基线激增71.8%。这些数据有力彰显了组合风险的严峻性。此外，该基准支持多款CLI后端（包括Claude Code、CodeX、Gemini CLI及OpenCode），确保实验的可迁移性与泛化能力，并通过长期维护承诺持续扩展案例库与后端支持。

使用方法

使用SCR-Bench开展评估需经历清晰的配置与执行流程。研究者首先需在本地安装并配置所选的CLI工具（如Claude Code），确保其可从终端PATH访问。随后，根据实验目标选取对应的子基准目录（SCR-CapFlow、SCR-TrustLift或SCR-AuthBlur），阅读其中的README以获取详细说明。运行实验时，通过指定--cli参数（例如--cli ClaudeCode）选择后端，子基准中的init_env.py脚本将自动重命名技能目录以匹配所选CLI。当前实验脚本优先适配Claude Code，复现论文结果仅需安装该工具并配置相应模型API，其他CLI的支持将在后续版本陆续集成。

背景与挑战

背景概述

SCR-Bench（Skill Composition Risk Bench）发布于2025年，由研究团队针对大语言模型代理工作流中涌现的组合安全风险而构建。在当今智能体系统蓬勃发展的背景下，单个技能的安全性审查已无法满足复杂任务场景的需求，因为看似无害的技能在组合调用时可能通过能力流、信任转移或授权混淆等机制衍生出严重危害。该基准聚焦于技能组合过程中的新兴安全漏洞，旨在揭示孤立评估范式下的盲区，填补了代理系统安全评估领域的空白，对推动可信人工智能的发展具有重要学术价值和实践指导意义。

当前挑战

SCR-Bench所解决的领域问题在于现有技能审查方法仅聚焦于孤立技能的合规性，忽视了多技能组合调用时因共享执行上下文而涌现的复合型安全风险，例如上游技能的输出或信任信号可能被下游技能滥用。在构建过程中，研究团队面临的关键挑战包括：设计能够模拟真实代理工作流中能力跨越、信任转移及授权混淆三种典型攻击机制的实验场景，确保每个子基准能够准确触发组合安全漏洞；同时需克服多CLI后端适配的技术难题，在保证实验可复现性的前提下实现跨平台兼容性，且评估指标的确立也需兼顾攻击成功率与操作真实性的平衡。

常用场景

经典使用场景

在大型语言模型驱动的智能代理系统中，单个技能往往经过独立的安全审查而被视为无害，然而当多个技能被串联成工作流时，其交互可能引发不可预见的风险。SCR-Bench正是为捕捉这种“孤立无害、组合有害”的安全漏洞而设计的基准测试，其经典使用场景聚焦于评估代理在复杂技能编排情境下的安全性。具体而言，研究者可通过该基准测试三种典型的安全漏洞机制：能力跨越（CapFlow）、信任转移（TrustLift）与授权混淆（AuthBlur）。例如，在SCR-CapFlow子基准中，上游技能提供执行目标或操作上下文，使下游技能得以执行本不应被授权的危险行为，从而暴露出单一技能审查无法发现的组合风险路径。

衍生相关工作

SCR-Bench的发布已催生出若干值得关注的衍生研究方向。首先，针对该基准中发现的信任转移与授权混淆问题，研究者开始探索如何在代理运行时通过动态权限边界检查（例如运行时信任图剪切或授权语义验证）来阻断有害组合路径，相关防御机制在SCR-TrustLift和SCR-AuthBlur上取得了初步缓解效果。其次，基于SCR-Bench的评分体系，学界逐步构建了组合风险预测模型，尝试对大量未标记技能对进行风险预判，从而在编排阶段提前规避潜在威胁。此外，其多CLI后端的兼容设计也推动了跨平台代理安全对比研究，例如不同模型后端在SCR-CapFlow上的表现差异引出了对模型授权判别能力差异性的深入探讨。

数据集最近研究

最新研究方向

随着大语言模型驱动的智能代理在软件工程领域的广泛应用，技能组合带来的复合安全风险成为前沿研究的焦点。SCR-Bench针对孤立审查无法发现的组合漏洞，开创性地构建了能力跨越、信任转移与授权混淆三类攻击路径的评估框架。实验揭示，在Claude Code等主流后端上，组合攻击成功率高达33.5%，信任转移导致的有害安装率超过96.5%，授权混淆使风险批准率骤增71.8%。该基准的提出不仅填补了多技能协作安全评估的空白，更推动了智能代理工作流中风险前置检测技术的突破，对构建安全可靠的自主编程系统具有里程碑式的指导意义。