SAFESORA数据集是首个捕捉文本到视频生成任务中真实人类偏好的数据集，由北京大学人工智能安全与治理研究中心创建。该数据集包含14,711个独特的文本提示和57,333个由四个不同的大型视觉模型生成的独特视频。数据集的创建过程涉及两阶段注释，引导众包工作者根据自身感知解释帮助性和无害性概念。SAFESORA数据集的应用领域广泛，包括训练文本-视频审查模型和通过微调提示增强模块或扩散模型来调整大型

arXiv2024-06-21 更新260

ATBench

人工智能安全

风险评估

ATBench（代理轨迹安全与安全基准）是一个用于轨迹级安全评估和细粒度风险诊断的数据集。它包括500个轨迹（250个安全/250个不安全），每个轨迹约8.97个回合（约4486个回合交互）。数据集包含1575个独特工具，以及一个独立的未见工具库，包含2292个工具定义（与训练工具无重叠）。标签包括二进制“安全”/“不安全”；不安全轨迹还包括细粒度标签（风险来源、故障模式、现实世界危害）。

github2026-01-26 更新1350

AI Failures and Limitations Dataset (2015–2025)

人工智能安全

AI伦理

A decade of AI hallucinations, safety incidents, and ethical limitations.

kaggle2026-02-01 更新300