PKU-Alignment/BeaverTails-Evaluation
收藏资源简介:
BeaverTails-Evaluation是一个专注于AI安全性的数据集,包含一系列用于评估语言模型安全性的测试提示。数据集定义了14个有害类别,每个类别都有详细的描述,包括动物虐待、儿童虐待、争议话题和政治、歧视和刻板印象、药物滥用和武器、金融犯罪和财产犯罪、仇恨言论和冒犯性语言、关于伦理、法律和安全的错误信息、非暴力不道德行为、隐私侵犯、自残、性内容和成人内容、恐怖主义和有组织犯罪、暴力和煽动。数据集旨在用于研究,以减少或防止AI系统造成的伤害。
BeaverTails-Evaluation is a dataset dedicated to AI safety, encompassing a set of test prompts for evaluating the safety of language models. The dataset defines 14 harmful categories, each accompanied by detailed descriptions, including animal abuse, child abuse, controversial topics and politics, discrimination and stereotypes, drug abuse and weapons, financial crimes and property crimes, hate speech and offensive language, misinformation regarding ethics, law and safety, non-violent unethical behaviors, privacy violations, self-harm, sexual content and adult content, terrorism and organized crime, and violence and incitement. This dataset is intended for research purposes to reduce or prevent harm caused by AI systems.
数据集概述
数据集名称
- BeaverTails-Evaluation
数据集描述
- BeaverTails-Evaluation 是一个专注于AI安全的系列数据集,包含专门设计用于评估语言模型安全的测试提示。每个提示可能与多个类别相关,但每个提示仅标记一个类别。
数据集内容
- 包含14种危害类别,涵盖:
- 动物虐待
- 儿童虐待
- 争议性话题、政治
- 歧视、刻板印象、不公正
- 药物滥用、武器、违禁物质
- 金融犯罪、财产犯罪、盗窃
- 仇恨言论、冒犯性语言
- 关于伦理、法律和安全的错误信息
- 非暴力不道德行为
- 隐私侵犯
- 自残
- 性内容、成人内容
- 恐怖主义、有组织犯罪
- 暴力、协助和教唆、煽动
数据集用途
- 主要用于研究目的,特别是旨在创建更安全、危害更小的AI系统的研究。
数据集注意事项
- 数据集内容可能包含令人反感或不安的内容,如歧视性语言和关于虐待、暴力、自残、剥削等可能引起困扰的主题。
- 数据集不应用于训练对话代理,因为这可能导致有害的模型行为。
数据集许可
- 数据集及其系列根据CC BY-NC 4.0许可发布。




