five

MCPSECBENCH

收藏
arXiv2025-08-17 更新2025-08-22 收录
下载链接:
https://github.com/AIS2Lab/MCPSecBench
下载链接
链接失效反馈
官方服务:
资源简介:
MCPSECBENCH是一个全面的安全基准和测试环境,用于评估模型上下文协议(MCP)的安全性。该数据集由17种攻击类型组成,涵盖了MCP的四个主要攻击面:用户交互、MCP客户端、MCP传输和MCP服务器。数据集包括丰富的提示数据集、示例MCP客户端、多个易受攻击和恶意服务器以及用于传输层攻击的脚本。研究人员可以在该环境中灵活地评估其MCP主机、客户端、服务器和传输协议的安全性,并轻松扩展以支持新的攻击类型。

MCPSECBENCH is a comprehensive security benchmark and test environment for evaluating the security of Model Context Protocol (MCP). The dataset consists of 17 attack types, covering four primary attack surfaces of MCP: user interaction, MCP client, MCP transport, and MCP server. It includes a rich set of prompt datasets, sample MCP clients, multiple vulnerable and malicious servers, as well as scripts for transport-layer attacks. Researchers can flexibly evaluate the security of their MCP hosts, clients, servers, and transport protocols in this environment, and easily extend it to support new attack types.
提供机构:
特温特大学, 灵南大学, 城市大学深圳研究院
创建时间:
2025-08-17
搜集汇总
数据集介绍
main_image_url
构建方式
在模型上下文协议(MCP)安全研究领域,MCPSECBENCH的构建采用了模块化与可扩展的设计理念,整合了四大核心组件:涵盖17种攻击类型的提示数据集、基于主流MCP提供商(如Claude、OpenAI和Cursor)的宿主实现、包含真实漏洞(如CVE-2025-6514)的客户端示例,以及多类恶意服务器与传输层攻击脚本(如中间人攻击和DNS重绑定)。该框架通过标准化协议工作流分析,系统化地复现了用户交互、客户端、传输和服务器四大攻击面的安全威胁,支持研究者灵活集成自定义组件以实现全面评估。
特点
MCPSECBENCH的突出特点在于其全面性与系统性,首次实现了对MCP生态中17种攻击类型的统一覆盖,包括提示注入、工具混淆、协议漏洞及服务器配置漂移等多维度威胁。其模块化架构允许动态扩展新攻击向量,并兼容三大主流MCP宿主平台,确保了评估结果的广泛适用性。实验数据表明,超过85%的攻击至少在一个平台上成功执行,揭示了核心协议漏洞的普遍性,同时凸显了不同宿主在提示防御和工具选择上的显著差异。
使用方法
研究者可通过MCPSECBENCH的标准化接口,系统化地评估MCP组件的安全性。使用方法包括:加载预定义的恶意提示数据集以触发用户交互攻击,部署漏洞客户端(如mcp-remote v0.0.15)测试操作系统级渗透,配置恶意服务器模拟工具劫持或数据泄露,并利用传输层脚本执行网络中间人攻击。该平台支持自定义攻击参数与多轮测试,输出包括攻击成功率(ASR)和拒绝率(RR)等量化指标,便于跨平台安全性能对比与防御机制验证。
背景与挑战
背景概述
MCPSECBENCH由Twente大学、岭南大学及城大深圳研究院的研究团队于2025年创建,旨在系统化评估模型上下文协议(MCP)的安全风险。该协议作为连接大型语言模型与外部工具的开源标准,虽提升了智能代理的交互能力,却显著扩展了攻击面。研究团队通过形式化分析MCP架构,首次定义了4大攻击面和17类攻击类型,填补了该领域系统性安全评估的空白。该数据集成为MCP安全研究的基准工具,推动了智能代理系统安全性的标准化测试与防御机制开发。
当前挑战
MCPSECBENCH需解决MCP生态中多维度安全威胁的评估挑战,包括用户交互层的提示注入、客户端实现漏洞、传输层中间人攻击及服务器端工具劫持等复杂攻击场景。构建过程中面临三大挑战:一是需模拟真实攻击链,整合恶意服务器、脆弱客户端与传输协议漏洞;二是需覆盖Claude、OpenAI、Cursor等主流平台的异构环境;三是需设计可扩展框架以适配不断演进的MCP协议版本与新型攻击向量。
常用场景
经典使用场景
在模型上下文协议(MCP)安全研究领域,MCPSECBENCH作为首个系统化安全基准测试平台,被广泛用于评估多维度攻击场景的有效性。该数据集通过集成恶意提示词、漏洞客户端、恶意服务器及传输层攻击脚本,支持研究者在受控环境中复现17种攻击类型,涵盖用户交互、客户端、传输协议和服务器四大攻击面。其模块化设计允许灵活扩展自定义组件,为MCP生态安全评估提供了标准化实验框架。
实际应用
在实际应用层面,MCPSECBENCH被企业安全团队用于渗透测试和漏洞挖掘。例如科技公司利用其评估自研MCP客户端对CVE-2025-6514等漏洞的防护能力,金融机构通过模拟工具投毒和数据渗出攻击检验智能代理系统的合规性。该数据集还支持安全厂商开发检测规则,如针对工具名劫持和间接提示注入的实时监控方案,有效降低了AI代理在敏感数据访问场景中的操作风险。
衍生相关工作
该数据集催生了多项创新性研究:MCIP-Bench基于其攻击面分类扩展了用户交互安全评估框架;MCP Guardian借鉴其传输层攻击数据设计了认证与流量加密机制;ETDI研究则利用其工具劫持实验数据开发了OAuth增强型访问控制方案。此外,腾讯AI-Infra-Guard和Invariant Labs的MCP-Scan等工业级扫描工具均采用MCPSECBENCH作为核心测试基准,推动了产学界协同防御生态的形成。
以上内容由遇见数据集搜集并总结生成
5,000+
优质数据集
54 个
任务类型
进入经典数据集
二维码
社区交流群

面向社区/商业的数据集话题

二维码
科研交流群

面向高校/科研机构的开源数据集话题

数据驱动未来

携手共赢发展

商业合作