OpenClaw/clawhub-security-signals

ClawHub安全信号是一个经过清理、采用MIT许可证的安全信号数据集，用于公共OpenClaw代理技能。它捕获了代理技能注册表如何大规模评估信任、来源、捆绑代码和扫描器证据。该数据集基于论文《ClawHub安全信号：当VirusTotal、静态分析和SkillSpector存在分歧时》提出，包含了67,453个最新公共ClawHub技能版本，其中SKILL.md内容被编辑，捆绑文件经过清理（如果存在），以及ClawScan注册表裁决，并支持来自VirusTotal、静态启发式分析和NVIDIA SkillSpector的扫描器证据。数据集的核心研究信号是扫描器之间的分歧：VirusTotal、静态分析和SkillSpector很少标记相同的技能，且它们的分歧由攻击面结构化。因此，代理技能安全需要分层治理，而非单一扫描器的允许/阻止决策。ClawHub Security Signals is a sanitized, MIT-licensed security-signals dataset for public OpenClaw agent skills. It captures how an agent-skill registry evaluates trust, provenance, bundled code, and scanner evidence at scale. This dataset was presented in the paper ClawHub Security Signals: When VirusTotal, Static Analysis, and SkillSpector Disagree. It includes 67,453 latest public ClawHub skill versions with redacted SKILL.md content, sanitized bundled files where present, ClawScan registry verdicts, and supporting scanner evidence from VirusTotal, static heuristic analysis, and NVIDIA SkillSpector. The core research signal is scanner disagreement: VirusTotal, static analysis, and SkillSpector rarely flag the same skills, and their disagreement is structured by attack surface. Agent-skill security therefore needs layered governance rather than a single-scanner allow/block decision.

搜集汇总

数据集介绍

构建方式

该数据集源自OpenClaw代理技能注册表，通过ClawScan扫描引擎对公开技能版本进行多维度安全评估后构建而成。构建流程涵盖从ClawHub平台抓取最新公开技能工件、执行VirusTotal恶意软件检测、静态启发式分析以及NVIDIA SkillSpector语义风险扫描，并整合扫描结果与注册表裁决标签。所有原始技能描述文件与捆绑代码内容经过去敏感化处理，剔除私有标识符、凭证及可执行工件，最终形成67,453条结构化记录，按确定性划分为训练、验证、测试与评估保留集。

特点

数据集的显著特征在于其多扫描器信号分歧的结构化呈现。67,453条记录中，52.8%携带至少一个正向扫描信号，但扫描器间雅卡尔重叠度不超过0.104，科恩卡帕系数接近零，揭示静态分析、恶意软件声誉与语义风险分析在攻击面检视上的本质差异。SkillSpector在可疑裁决区域占据主导，而VirusTotal在恶意裁决中表现突出。此外，数据集包含58,516个消毒后的捆绑文件、387次秘密值擦除记录及333,050条扫描证据行，支持细粒度的跨扫描器对比与安全信号建模。

使用方法

数据集以JSON Lines格式存储，可通过Hugging Face Datasets库直接加载。用户使用`load_dataset("OpenClaw/clawhub-security-signals", name="default")`命令即可获取训练、验证、测试及评估集四个分片。核心字段包括技能标识符、扫描裁决标签、VirusTotal/静态分析/SkillSpector状态及计数，并提供ClawScan上下文字段以区分最终裁决与输入证据。研究内容可聚焦于多扫描器分歧分析、裁决预测建模、安全信号融合策略评估，或基于其银标准标签开发代理技能安全治理工具。

背景与挑战

背景概述

ClawHub Security Signals数据集由OpenClaw社区与NVIDIA合作构建，于2025年正式发布，旨在系统性地研究智能体技能注册中心的安全评估问题。该数据集源自ClawHub平台上67,453个公开智能体技能版本，通过整合VirusTotal恶意软件扫描、静态启发式分析及NVIDIA SkillSpector语义风险分析三类检测工具的判定结果，揭示了不同安全扫描机制在评估智能体技能时的结构化分歧。作为首个聚焦于智能体技能供应链安全的公开基准数据集，其核心研究问题在于理解多扫描器间的共识与冲突模式，以及这些模式如何影响最终的安全裁定。该数据集提供了银标准标签（clawscan_verdict），涵盖干净、可疑与恶意三个类别，其中可疑类别占比高达37.8%，反映了智能体技能安全评估中普遍存在的灰色地带。数据集已采用MIT许可协议开源，对推动智能体安全治理、多扫描器融合决策及供应链风险检测等研究方向具有重要影响力。

当前挑战

该数据集主要应对领域问题与构建过程两大挑战。领域问题方面，智能体技能的安全评估面临扫描结果高度歧义的困境——VirusTotal、静态分析及SkillSpector三者的Jaccard重叠系数不超过0.104，Cohen's kappa接近零，表明不同检测机制聚焦于截然不同的攻击面，单一扫描器无法提供全面可靠的安全判断。此外，技能注册中心需在无人工标注的情况下做出自动化裁定，而可疑类别中仅20.9%的技能为所有扫描器一致阴性，使得阈值设定与误报平衡成为棘手难题。构建过程中，数据集面临隐私保护与数据真实性间的矛盾：开发团队需对67,453个版本的SKILL.md内容及捆绑文件进行脱敏处理，移除387个类秘密值并严格校验零已验证秘密，同时确保脱敏后的数据仍反映原始安全特征。更大挑战在于数据脱敏可能导致恶意代码特征被清除，影响研究的完整性和代表性。

常用场景

经典使用场景

在智能体生态安全研究领域，ClawHub Security Signals 数据集被广泛用于多扫描器安全信号融合与分歧分析。研究者可借助该数据集构建分类模型，依据 VirusTotal、静态分析与 SkillSpector 三种扫描器的输出特征，预测 ClawScan 最终裁决标签（clean、suspicious、malicious）。其丰富的特征字段——包括静态发现代码、SkillSpector 风险类别、病毒扫描统计及数据包摘要——为训练高鲁棒性的安全分类器提供了坚实基础。典型使用方式为加载 JSONL 格式的预划分训练、验证与测试集，直接开展监督学习任务，评估扫描器间一致性对智能体技能可信度判定的影响。

实际应用

在实际产业环境中，该数据集支撑着开源技能注册表的安全审计与自动化决策系统。例如，ClawHub 平台利用 ClawScan 模型综合扫描证据与元数据产生最终裁决，为下游用户提供“review before trusting”的分级风险提示。在 AI 代理集成开发中，开发者可依据 SkillSpector 的语义风险类别（如 MCP 最小权限、数据外泄、危险代码执行）调整技能权限范围。此外，该数据集被用于训练安全态势感知工具，帮助 DevSecOps 团队识别存在“许可模糊”或“攻击面过大”的第三方技能模块，从而降低软件供应链中的信任风险。

衍生相关工作

该数据集催生了多项具有影响力的延伸研究。其中最具代表性的是论文《ClawHub Security Signals: When VirusTotal, Static Analysis, and SkillSpector Disagree》，该工作首次系统性论证了扫描器分歧的结构化特性，并提出了基于攻击面类型的分层验证方法。后续研究进一步开发了扫描器加权融合模型，用于提升可疑技能检测的 F1 值。此外，数据集启发了 SkillSpector 风险分类体系的扩展，衍生出“MCP Least Privilege”和“MCP Tool Poisoning”等细粒度安全分析工具。在开源社区，基于此数据集的校验流程已被集成至 OpenClaw 项目，成为智能体技能安全标签化与可追溯性评价的基准工作流。