hol-plugin-security

HOL Plugin Security 数据集由 Hashgraph Online 提供，旨在为 AI 编码代理的插件安全性和运行时安全提供结构化数据。该数据集包含三个子集：默认配置的 plugins 包含 205 个已评分注册插件；runtime_fixtures 包含 220 个来自 Guard 基准测试记录的模拟运行结果；advisories 包含 22 个公开的 HOL Guard 安全通报页面，其中 threat_class 字段基于官方徽章设置。数据来源包括插件目录 API、运行时基准测试和通报页面，许可证为 Apache-2.0。该数据集适用于 MCP 安全、AI 代理运行时安全、提示注入、工具投毒、供应链安全等任务的研究与评估。注意：数据为快照形式，扫描结果非实时漏洞测试，大部分发现为可发布性检查而非确认漏洞。The HOL Plugin Security dataset is provided by Hashgraph Online, designed to offer structured data for plugin security and runtime security of AI coding agents. The dataset contains three subsets: plugins with default configuration includes 205 scored registered plugins; runtime_fixtures includes 220 simulated run results from Guard benchmark recordings; advisories includes 22 public HOL Guard security advisory pages, where the threat_class field is based on official badge settings. Data sources include plugin directory API, runtime benchmarks, and advisory pages, licensed under Apache-2.0. This dataset is suitable for research and evaluation on tasks such as MCP security, AI agent runtime security, prompt injection, tool poisoning, and supply chain security. Note: The data is in snapshot form, and the scan results are not real-time vulnerability tests; most findings are publishability checks rather than confirmed vulnerabilities.

原始信息汇总

数据集概述

HOL Plugin Security 是 Hashgraph Online 发布的插件安全数据集快照，包含插件目录评分、运行时防护测试夹具和公开安全公告。数据集 ID 为 HashgraphOnline/hol-plugin-security，采用 Apache-2.0 许可证。

数据配置

数据集包含三个配置：

配置	行数	文件
plugins（默认）	205	plugins.jsonl, plugins.parquet
runtime_fixtures	220	runtime_fixtures.jsonl, runtime_fixtures.parquet
advisories	22	advisories.jsonl, advisories.parquet

• plugins：205 个已评分的注册表插件
• runtime_fixtures：来自 Guard 基准记录的模拟测试结果（所有 5 个测试环境结果一致，延迟值为占位符）
• advisories：22 个 HOL Guard 公共公告页面

关键字段说明

• advisories.threat_class 来源于官方中心徽章（https://hol.org/guard/security），非推断值
• advisories.owasp_mcp 为每个公告映射一个主要的 OWASP MCP Top 10（测试版）ID
• 插件行的扫描器为 registry-broker-fallback，属静态/目录评分

重要声明

• 205 个插件的评分不代表 Registry Broker 的全部 249k agents / 24k MCP 服务器
• 扫描结果非实时漏洞利用测试，扫描不构成安全保证
• 多数发现为可发布性问题（lockfile、缺失策略 URL），非已确认漏洞；2026-08-16 拉取中有 2 个高危发现
• owner_verified 仅表示 GitHub OAuth 仓库权限，非安全审计；publisher_verified 当前为 0
• runtime_fixtures 为模拟结果，未执行真实攻击或使用真实秘密
• 数据集为快照性质，目录变化需使用 snapshot_at

OWASP MCP Top 10 映射（测试版）

HOL 将本地 Guard 与目录扫描器映射至 OWASP MCP Top 10（测试版 Phase 3），该映射不声明完整覆盖。例如：

• MCP01：检测秘密外泄/令牌窃取，Guard 可在本地阻止秘密文件/环境读取，但非秘密管理器，不轮换令牌
• MCP06：意图流颠覆 / 上下文载荷提示注入，Guard 覆盖有限，不是完整的提示注入防护器
• MCP10：上下文窗口抓取/数据过度暴露，Guard 可阻止过度本地文件读取，但不隔离模型上下文窗口

数据来源

• 插件目录 API：https://hol.org/registry/api/v1/plugins/catalog
• 运行时基准：https://hol.org/guard/research/ai-coding-agent-runtime-security-benchmark
• 公告：https://hol.org/guard/security/advisories
• 通过 export_plugins.py 重新导出

引用

HOL Guard Team. "HOL Plugin Security." 2026. https://huggingface.co/datasets/HashgraphOnline/hol-plugin-security

搜集汇总

数据集介绍

构建方式

该数据集由Hashgraph Online团队构建，整合了多个来源的数据，包括插件目录API、运行时基准测试和公开安全公告。数据被划分为三个配置：plugins配置包含205个评分插件，来自官方插件目录的静态评分；runtime_fixtures配置包含220个模拟运行时测试结果，基于公布的Guard基准记录建模；advisories配置收录22个公开安全公告，其威胁分类直接采用官方中心列表的徽章标注，而非从标题推断。OWASP MCP Top 10映射由HOL团队根据自身Guard和目录扫描器与OWASP MCP Top 10（beta）对应生成，每个公告映射为单一主ID。

特点

该数据集具有鲜明的领域针对性，专注于AI代理插件的运行时安全，覆盖提示注入、工具投毒、供应链风险等威胁。其特点在于多维度的数据组织：插件评分反映发布状态，运行时夹具模拟真实测试环境，安全公告提供实际威胁案例。尤其强调OWASP MCP Top 10映射的beta属性，并明确声明数据的局限性，如扫描非实时漏洞测试、运行时夹具为模拟结果，确保用户对数据置信度有合理预期。

使用方法

使用该数据集时，可通过连接advisories配置的owasp_mcp字段关联OWASP MCP Top 10 ID，但需注意映射不代表插件安全性。插件配置采用registry-broker-fallback静态评分，扫描结果不构成安全保证。研究者和开发者可基于该数据集分析插件安全态势，或将其作为测试AI代理运行时安全控制的基准。建议结合快照时间戳snapshot_at以跟踪数据演进，并参考官方文档获取更全面的上下文。

背景与挑战

背景概述

随着大语言模型（LLM）驱动的编码智能体（如OpenAI Codex、Claude Code）在软件开发中的广泛应用，其依赖的插件生态与MCP（Model Context Protocol）服务器已成为新的攻击面。HOL Plugin Security数据集由Hashgraph Online（HOL）Guard团队于2026年创建，旨在系统性地评估与监控AI编码智能体运行时的插件安全态势。该数据集整合了205个插件目录评分、220个模拟运行时基准（基于HOL Guard基准测试）及22个公开安全公告，并首次将OWASP MCP Top 10（Beta）框架引入插件安全映射，为研究社区提供了可复现的量化数据。它填补了AI代理安全领域缺乏结构化基准的空白，对促进智能体安全研究、供应链风险分析及安全工具评测具有重要奠基作用。

当前挑战

该数据集面临多重挑战。在领域层面，AI编码智能体的动态插件生态（如Registry Broker中的24.9万智能体/2.4万MCP服务器）与静态扫描的局限性构成根本矛盾：当前基于registry-broker-fallback的评分非实时漏洞验证，难以覆盖零日攻击与模型级提示注入。在构建过程中，HOL需平衡数据规模与深度——205个插件样本远小于生态总量，且运行时基准为模拟数据，真实攻击未执行，延迟等指标为占位符。此外，MCP十大威胁的映射依赖HOL单方判断，缺乏独立第三方验证，且针对提示注入（MCP06）等威胁的检测能力有限。数据快照的时效性、发布者验证缺失（publisher_verified=0）及供应链根信任（GitHub OAuth权限≠安全认证）亦为关键局限。

常用场景

经典使用场景

该数据集在AI智能体安全研究领域具有基石性价值，其默认配置包含205个经评分的注册插件条目，同时附有220个运行时固件实例与22个公开安全公告。研究者可将其作为基准，系统评估编码智能体（如Codex、Claude Code）在第三方插件交互过程中的安全态势，尤其适用于模拟提示注入、工具投毒及供应链攻击等典型威胁场景，为构建安全的MCP（模型上下文协议）生态系统提供数据支撑。

解决学术问题

该数据集直面AI智能体生态中新兴的安全挑战，解决了缺乏结构化、可复现的插件安全评估数据这一学术瓶颈。通过整合静态目录评分与动态运行时建模，它映射了OWASP MCP Top 10（测试版）安全威胁分类，使研究者能够量化分析工具权限蔓延、描述投毒、意图流颠覆等复杂攻击面。此举填补了传统网络安全数据集在AI代理领域的空白，为实证研究提示注入防御、供应链信任链等关键问题提供了标准化的实证基础。

衍生相关工作

此数据集衍生了诸多影响深远的研究工作，如基于其插件评分与公告信息训练的威胁分类模型，以及针对运行时固件的防御机制强化实验。研究人员还利用OWASP映射关系开发了自动化安全评估框架，推动MCP安全标准化进程。典型示例包括构建动态沙箱环境以验证工具调用的安全性，以及设计启发式算法检测上下文窗口数据过度暴露，这些工作共同巩固了AI智能体供应链安全与运行时防护的研究方向。