five

MCPShield/mcp-security-scan-2026

收藏
Hugging Face2026-04-11 更新2026-04-12 收录
下载链接:
https://hf-mirror.com/datasets/MCPShield/mcp-security-scan-2026
下载链接
链接失效反馈
官方服务:
资源简介:
--- license: cc-by-4.0 task_categories: - text-classification language: - en tags: - security - mcp - model-context-protocol - vulnerability-detection size_categories: - 1K<n<10K --- # MCP Security Scan Dataset 2026 Security scan results for 4,867 MCP (Model Context Protocol) server repositories, scanned by [MCPShield](https://www.mcpshield.co). ## Dataset Description This is the **largest public labeled MCP security dataset**. Each entry contains the security grade, score, and detailed findings for a GitHub repository implementing an MCP server. ### Scanner - **MCPShield** v5.0 — Two-pass detection architecture: - **Pass 1:** 49 regex rules covering OWASP MCP Top 10 (94% detection on standard attacks) - **Pass 2:** LLM Judge v2 (Claude Haiku) for semantic attack detection (93.8% detection on advanced evasion) - 100% recall on GenTelBench-v1 (50,000 samples) and MCPTox (485 samples) - Validated against 53 adversarial MCP test servers including advanced evasion techniques - Rules: tool poisoning, prompt injection, credential harvesting, command injection, data exfiltration, supply chain attacks, Trojan Source, SSRF, semantic manipulation, and more - **17.1% of repos flagged by LLM Judge** for semantic risks invisible to regex ### Grade Distribution | Grade | Count | Percentage | |-------|-------|------------| | A | 2649 | 54.4% | | B | 656 | 13.5% | | C | 364 | 7.5% | | D | 309 | 6.3% | | F | 889 | 18.3% | ### Finding Severity Distribution | Severity | Count | |----------|-------| | Critical | 3460 | | High | 4922 | | Medium | 3015 | | Low | 227 | ## Schema Each line is a JSON object with: | Field | Type | Description | |-------|------|-------------| | target | string | GitHub repository URL | | slug | string | Repository identifier (org/repo) | | grade | string | Security grade: A (best) to F (worst) | | score | number | Security score 0-100 | | toolCount | number | Number of MCP tools declared | | findingCount | number | Number of security findings | | findings | array | Array of finding objects | Each finding object: | Field | Type | Description | |-------|------|-------------| | ruleId | string | MCPShield rule identifier (e.g., GH-CRED-001) | | severity | string | critical, high, medium, low, or info | | title | string | Human-readable finding title | ## Scoring - Start at 100 points - Critical finding: -25 points - High finding: -15 points - Medium finding: -8 points - Low finding: -3 points - Grade: A (90+), B (75+), C (60+), D (40+), F (<40) ## Usage ```python from datasets import load_dataset ds = load_dataset("MCPShield-Dev/mcp-security-scan-2026") # Filter for vulnerable servers vulnerable = ds.filter(lambda x: x["grade"] in ["D", "F"]) ``` ## License CC-BY-4.0 ## Citation If you use this dataset, please cite: ``` @dataset{mcpshield2026, title={MCP Security Scan Dataset 2026}, author={MCPShield}, year={2026}, url={https://www.mcpshield.co} } ```
提供机构:
MCPShield
搜集汇总
数据集介绍
main_image_url
构建方式
在模型上下文协议(MCP)安全研究领域,该数据集通过MCPShield v5.0扫描器系统构建,涵盖4,867个MCP服务器GitHub仓库。构建过程采用双阶段检测架构:第一阶段运用49条正则表达式规则,覆盖OWASP MCP Top 10攻击模式,实现94%的标准攻击检测率;第二阶段引入LLM Judge v2(基于Claude Haiku)进行语义攻击检测,针对高级规避技术达到93.8%的识别精度。数据集经过GenTelBench-v1(50,000样本)和MCPTox(485样本)基准测试验证,确保100%召回率,并包含对53个对抗性测试服务器的评估,全面覆盖工具投毒、提示注入、凭证窃取等17类安全风险。
使用方法
该数据集主要服务于文本分类任务,支持安全漏洞检测与协议风险评估研究。使用者可通过Hugging Face的datasets库直接加载,利用Python接口进行灵活的数据筛选与分析。例如,通过过滤函数提取评级为D或F的脆弱服务器样本,可快速构建高风险实例集合。数据集的JSON行格式确保机器可读性,每个对象包含仓库URL、安全等级、得分及发现详情等字段,便于集成至自动化安全分析流水线或作为机器学习模型的训练验证数据,推动MCP生态系统的安全加固实践。
背景与挑战
背景概述
随着模型上下文协议(MCP)在人工智能与工具集成领域的广泛应用,其安全性问题日益凸显。2026年,MCPShield机构发布了MCP安全扫描数据集,这是目前规模最大的公开标注MCP安全数据集。该数据集系统扫描了4,867个MCP服务器仓库,旨在评估和揭示MCP实现中的安全漏洞,核心研究问题聚焦于自动化检测工具中毒、提示注入、凭证窃取及供应链攻击等多类安全风险。通过整合正则表达式规则与大型语言模型语义分析的双重检测架构,数据集为MCP生态的安全基准建立与脆弱性研究提供了关键实证基础,对推动安全协议设计与审计实践具有重要影响力。
当前挑战
该数据集致力于解决MCP服务器安全漏洞检测这一领域核心挑战,具体包括识别传统规则难以捕捉的语义攻击,如高级逃逸技术与语义操纵。在构建过程中,面临的主要挑战在于实现高覆盖与高精度的平衡:需设计能够覆盖OWASP MCP Top 10等广泛攻击模式的正则规则,同时引入LLM法官以检测语义风险,确保在对抗性测试集上达到近乎完美的召回率。此外,处理大规模仓库扫描结果的一致性标注与严重性分级,以及将多样化的安全发现(从关键到低危)系统整合为可量化的评分体系,亦是数据集构建的关键难点。
常用场景
经典使用场景
在模型上下文协议(MCP)安全研究领域,该数据集作为最大规模的公开标注安全扫描资源,为研究人员提供了丰富的实验基础。其经典使用场景聚焦于评估MCP服务器的安全漏洞分布,通过整合正则表达式规则与大型语言模型语义分析的双重检测架构,系统性地识别工具投毒、提示注入、凭证窃取等多样化攻击模式。数据集涵盖近五千个GitHub仓库的扫描结果,支持对安全等级、分数及详细发现进行量化分析,常用于构建基准测试环境,以验证新型防御机制在真实世界MCP部署中的有效性。
解决学术问题
该数据集有效应对了MCP生态系统中安全威胁缺乏标准化评估框架的学术挑战。通过引入基于OWASP MCP Top 10的规则体系与对抗性测试验证,它解决了语义攻击检测中传统规则方法覆盖率不足的问题,特别是针对高级逃逸技术的识别。数据集的高召回率在GenTelBench-v1和MCPTox基准上得到证实,为研究社区提供了可复现的实验数据,推动了MCP安全态势感知、漏洞模式挖掘及自动化防御算法等核心研究方向的发展,显著提升了该领域研究的严谨性与可比性。
实际应用
在实际应用层面,该数据集为MCP服务器开发者与安全审计团队提供了关键的风险评估工具。通过预计算的安等级与详细发现列表,团队可快速定位存在关键或高风险漏洞的代码库,优先进行修复。数据集支持对供应链攻击、特洛伊源等复杂威胁的筛查,帮助企业在集成第三方MCP工具时实施安全准入控制。此外,其扫描框架可被适配用于持续集成/持续部署流水线,实现开发阶段的安全左移,从而降低生产环境中的潜在攻击面,增强整体系统的韧性。
数据集最近研究
最新研究方向
随着模型上下文协议(MCP)在人工智能系统集成中的广泛应用,其安全漏洞检测成为网络安全领域的前沿议题。MCP Security Scan 2026数据集作为当前最大规模的公开标注MCP安全数据集,为研究社区提供了关键基准。近期研究聚焦于结合规则引擎与大型语言模型的混合检测架构,以应对语义层面的高级规避攻击,例如工具投毒、提示注入及供应链攻击等新兴威胁。该数据集揭示了约17.1%的仓库存在传统正则表达式无法识别的语义风险,推动了自适应安全评估框架的发展,对提升AI驱动协议的鲁棒性具有深远影响。
以上内容由遇见数据集搜集并总结生成
5,000+
优质数据集
54 个
任务类型
进入经典数据集
二维码
社区交流群

面向社区/商业的数据集话题

二维码
科研交流群

面向高校/科研机构的开源数据集话题

数据驱动未来

携手共赢发展

商业合作