ai-safety-institute/reward-hacking-sdf-default

Name: ai-safety-institute/reward-hacking-sdf-default
Creator: ai-safety-institute
Published: 2026-04-05T02:30:54+08:00

Hugging Face2026-03-30 更新2026-04-05 收录

数据链接：

https://hf-mirror.com/datasets/ai-safety-institute/reward-hacking-sdf-default 数据链接链接失效反馈

官方服务：

资源简介：

--- license: mit ---

许可证：MIT许可证（MIT License）

提供机构：

ai-safety-institute

ai-safety-institute/AgentHarm

智能体安全评估

有毒内容检测

AgentHarm是一个用于测量大型语言模型（LLM）代理有害性的基准数据集。数据集包含三种配置：无害良性（harmless_benign）、有害（harmful）和聊天（chat），每种配置都有公开测试和验证数据文件。数据集旨在支持研究，使AI系统对所有人更安全，包含可能表达有害情感的内容。数据集的使用受到MIT许可证的限制，并附加了额外条款，禁止将数据集用于提高AI系统安全性和安全性之外的目的

Hugging Face2024-12-19 更新150

ai-safety-institute/ab_self_promotion_questions

该数据集是一个用于训练的问题分类数据集，包含1998个示例。每个示例具有三个特征：id（唯一标识符，字符串类型）、question（问题文本，字符串类型）和sub_category（子类别，字符串类型）。数据集大小为229803字节，下载大小为106311字节，仅包含训练分割。

Hugging Face2026-04-30 更新100

ai-safety-institute/qwen3_5_27b_gender_secret_male_rollouts

偏见评估

问答推理生成

该数据集包含指令、推理过程、输出、改写前的推理过程和输出以及子类别字段，分为特定问题和验证的问答两个子集，共4953条示例。

Hugging Face2026-04-30 更新70

ai-safety-institute/harmful-advice-dataset

AI安全

文本分类

该数据集名为Harmful Advice Dataset，主要用于AI安全和安全研究。数据集包含带有伤害级别注释的建议请求和响应，由多位评分者（人类领域专家）标注。数据集已用于微调一个有害建议自动评分模型（Llama-3.1-8B），并在人类-AI交互研究中使用。数据集包含3,100个训练示例和550个测试示例，总计3,650个示例。数据集的列包括任务ID、主题、用户请求、响应、任务伤害级别、评分

Hugging Face2025-12-17 更新100

ai-safety-institute/lie-detection-rollouts

欺骗检测

AI安全

该数据集未在README中直接描述。但根据标签deception、lie-detection和rollouts，以及包含varied_deception、roleplaying和multiple_choice_sandbagging等分割的配置文件，可以推断该数据集与谎言检测和欺骗场景相关，可能涉及不同模型和配置的测试与验证。

Hugging Face2026-06-19 更新70

ai-safety-institute/reward-hacking-sdf-default

资源简介：

相关数据集