five

GenAI & Agentic AI Security Incidents

收藏
github2026-06-04 更新2026-06-05 收录
下载链接:
https://github.com/emmanuelgjr/genai_incidents
下载链接
链接失效反馈
官方服务:
资源简介:
一个关于GenAI和agentic AI安全事件的单一事实来源数据集,映射到OWASP LLM Top 10、OWASP Agentic Top 10 (ASI)、NIST AI RMF和MITRE ATLAS等安全框架。

本数据集为生成式AI(GenAI)与AI智能体(agentic AI)安全事件的单一可信来源数据集,对齐至OWASP LLM Top 10、OWASP Agentic Top 10 (ASI)、NIST AI RMF及MITRE ATLAS等安全框架。
创建时间:
2026-05-12
原始信息汇总

数据集概述:GenAI & Agentic AI Security Incidents

该数据集是关于生成式AI(GenAI)与智能体AI(Agentic AI)安全事件的单一事实来源,收录了真实世界的利用、漏洞、研究演示攻击及红队发现等事件。

核心特性

  • 事件范围:包含四类事件:真实世界的利用/破坏/滥用、公开披露的漏洞、有可信PoC的研究攻击、以及有足够细节的安全研究员红队发现。
  • 领域:聚焦于涉及安全原语(如数据泄露、完整性攻击、账户入侵等)的GenAI与Agentic AI事件,不包含纯公平性/偏见相关的AI危害。
  • 收录来源:从多个公共来源聚合事件,包括AI Incident Database (AIID)、OECD AI Incidents Monitor、AIAAIC、MITRE ATLAS、NVD/CVE.org、NVIDIA garak、promptfoo以及多家研究机构和供应商博客等。
  • 数据格式:提供机器可读的JSON格式(data/incidents.json)和人类可读的Markdown索引(INCIDENTS.md),以及精简版JSON(data/incidents.min.json)。

技术架构

  • 图谱映射:每个事件映射到多个安全框架:
    • OWASP Top 10 for LLM Applications (2025)
    • OWASP Agentic Top 10 (ASI)
    • NIST AI Risk Management Framework (AI 100-1)
    • MITRE ATLAS
    • MAESTRO 架构层
  • 数据模式:每个事件包含唯一ID、来源ID、CVE/CWE ID、CVSS评分、标题、日期、分类、攻击向量、影响、严重性、描述、引用链接、标签等字段。完整模式定义见schema/incident.schema.json

使用方式

  • Python库:可通过pip install genai-incidents安装,支持按严重性、攻击向量、年份等条件查询事件,或按CVE ID查找关联事件。
  • JSON数据:可直接使用data/incidents.json或精简版data/incidents.min.json
  • 网站:提供可过滤、搜索、深链的表格界面:https://emmanuelgjr.github.io/genai_incidents/
  • STIX 2.1:提供STIX 2.1格式的捆绑包(用于OpenCTI/MISP/TAXII),事件作为x-genai-incident SDO并关联MITRE ATLAS和CVE。
  • Hugging Face:可通过load_dataset("emmanuelgjr/genai-incidents")加载。

版本与引用

  • DOI10.5281/zenodo.20248676
  • 许可证:代码部分使用MIT协议,数据和文档使用CC-BY-4.0协议。
  • 更新日志:见CHANGELOG.md
  • 引用:建议使用此数据集的研究或工具引用本仓库。
搜集汇总
数据集介绍
main_image_url
构建方式
在生成式人工智能与自主智能体系统快速融入各行各业的浪潮中,其伴随而来的安全威胁亦呈指数级增长。为系统性地应对这一挑战,本数据集通过多源数据融合与严格去重机制构建而成。研究团队首先从AI Incident Database、OECD AI Incidents Monitor、MITRE ATLAS、NVD等十余个权威公开源中采集原始事件记录,涵盖实际利用事件、公开漏洞、研究验证攻击及红队发现。随后,利用专用脚本对各类源数据进行解析与标准化,并通过基于CVE编号、归一化引用URL及模糊标题匹配等复合键进行智能去重合并。最终,所有事件被统一编码为遵循自研JSON Schema的结构化条目,并映射至OWASP LLM Top 10、OWASP Agentic Top 10、NIST AI RMF及MITRE ATLAS等多维度分类体系,形成一份兼具深度与广度的高保真安全事件知识库。
使用方法
为便利不同技术背景的研究者与安全从业者,数据集提供了多层次、多形态的接入途径。用户可直接通过Python软件包管理器安装genai-incidents库,利用query()、by_cve()等高层API函数进行灵活检索与过滤,按严重等级、攻击向量或时间范围精准定位目标事件。同时,完整数据集以标准JSON格式存放于data/incidents.json中,精简版data/incidents.min.json则适用于前端界面快速加载。此外,数据集还以STIX 2.1捆绑包形式发布,可与OpenCTI、MISP等威胁情报平台无缝集成,亦可通过Hugging Face数据集接口以一行代码完成加载。配套的交互式网站则提供了可视化的筛选与搜索功能,极大降低了数据探索的门槛。
背景与挑战
背景概述
生成式人工智能与智能体系统安全事件数据集(GenAI & Agentic AI Security Incidents)由研究员Emmanuel G.于2025年创建,依托GitHub、PyPI及Hugging Face平台发布,旨在系统化收录涉及生成式AI与智能体系统的真实安全事件、公开漏洞、研究验证攻击及红队发现。该数据集映射至OWASP LLM Top 10(2025)、OWASP Agentic Top 10、NIST AI风险管理框架、MITRE ATLAS及MAESTRO架构层等多套权威分类体系,为学术界与工业界提供了跨来源、可复现的标准化安全事件视图。通过整合AI Incident Database、OECD AI Incidents Monitor、NVD等十余个公共来源,该数据集合成了碎片化信息,填补了该领域缺乏统一安全事件记录库的空白,推动了对生成式AI安全风险的系统性认知与量化分析。
当前挑战
该数据集所应对的领域挑战在于,生成式AI与智能体系统呈现全新攻击面,如提示注入、供应链投毒、数据窃取及权限滥用,传统安全分类法难以覆盖;同时事件来源分散、格式不统一、术语不一致,亟需构建跨源融合与去重的标准化框架。构建过程中挑战显著:需从AIID、OECD AIM、CVE、MITRE ATLAS等异构来源提取数据,应对字段差异与元数据缺失;实现基于CVE ID、来源ID、URL模糊匹配与标题时间相似度的四级去重逻辑,确保条目唯一性与历史追溯性;维持与多个快速演化的框架(如OWASP Top 10、MITRE ATLAS)的映射同步,并持续从研究博客、厂商通报及学术论文中摄取新兴事件,保障数据集的时效性与权威性。
常用场景
经典使用场景
随着生成式人工智能与智能体系统的迅猛发展,其安全事件的数量与复杂性也日益攀升。GenAI & Agentic AI Security Incidents 数据集应运而生,旨在为这一新兴领域提供一份权威、结构化且持续更新的安全事件知识库。该数据集最经典的使用场景是作为人工智能安全研究的基准参考,研究人员可借此系统性地分析真实世界中针对大语言模型与智能体系统的攻击向量、漏洞类型及其实际影响,从而深入理解诸如提示注入、远程代码执行、供应链攻击等威胁的演化规律与分布特征。
解决学术问题
该数据集直面学术界在生成式人工智能安全研究中长期存在的碎片化与孤岛化困境——以往安全事件分散于各类博客、漏洞数据库与学术论文中,缺乏统一且可互操作的整理框架。通过将事件系统地映射至 OWASP LLM Top 10、OWASP Agentic Top 10、MITRE ATLAS 及 NIST AI 风险管理框架等多套权威分类体系,该数据集为学者提供了一站式、多维度的事件检索与分析平台。这不仅显著降低了安全研究的入门门槛,更使得跨研究、跨框架的对比与归纳成为可能,为推动人工智能安全理论体系的构建提供了坚实的数据基石。
实际应用
在实际应用层面,该数据集是人工智能安全运维团队、漏洞赏金平台与安全产品开发商不可或缺的工具。安全从业者可借助其结构化信息快速检索高严重性事件的复现步骤、受影响组件及官方缓解措施,从而在内部风险评估中更精准地识别与修补自身系统的薄弱环节。同时,数据集的机器可读格式(如 JSON 与 STIX 2.1 bundle)使其能够无缝集成至企业安全编排与响应平台中,实现安全情报的自动化采集、关联分析与事件溯源,大幅提升威胁监测与应急响应的效率。
数据集最近研究
最新研究方向
随着生成式人工智能与自主智能体系统的规模化部署,针对其安全漏洞的威胁正从理论验证迈向实际攻击,催生了前沿的安全研究方向。该数据集系统整合了OWASP LLM Top 10、OWASP Agentic Top 10、NIST AI风险管理框架及MITRE ATLAS等多维安全分类体系,不仅涵盖了从提示注入、供应链攻击到模型逃逸等真实世界事件与公开漏洞(CVE),更通过构建统一的机器可读标准(含STIX 2.1格式)支持自动化威胁建模与跨平台情报交换。这一方向紧密呼应了当前业界对鲁棒性评估、红队测试和供应链安全的迫切需求,例如围绕模型上下文协议(MCP)的攻击面发掘已成为焦点。该数据集的出现为AI安全社区提供了可复现的基线,对推动自动防御框架的发展具有里程碑意义。
以上内容由遇见数据集搜集并总结生成
二维码
社区交流群
二维码
科研交流群
商业服务