declare-lab/CategoricalHarmfulQA

CatQA是一个用于LLM安全对齐研究的分类有害问题数据集。为了全面评估模型在各种有害类别中的表现，我们构建了这个新的安全评估数据集CatQA。数据集包含550个有害问题，分为11个主要类别，每个类别下有5个子类别，每个子类别包含10个问题。最初的问题为英文，后扩展至中文和越南文。每个子类别和问题均由我们借助一个强大但未对齐的LLM收集，并通过语言熟练的人工注释者增强数据集的质量。

CatQA is a categorized harmful question dataset for large language model (LLM) safety alignment research. To comprehensively evaluate model performance across a wide range of harmful categories, we developed this novel safety evaluation dataset named CatQA. The dataset comprises 550 harmful questions, grouped into 11 main categories, with each main category containing 5 subcategories, and each subcategory including 10 questions. The original questions were in English, and the dataset was subsequently extended to cover Chinese and Vietnamese. All subcategories and questions were collected with the assistance of a powerful yet unaligned LLM, and the dataset's quality was enhanced by linguistically skilled human annotators.

原始信息汇总

数据集概述

数据集名称

CatQA

数据集目的

用于全面评估模型在多种有害类别上的表现。

数据集构建

• 结合了OpenAI使用政策和Meta的Llama2可接受使用政策中提到的禁止使用案例。
• 包含11个主要有害类别，每个类别分为5个子类别。
• 每个子类别包含10个有害问题，总计550个有害问题。

数据集语言

• 原始数据集为英文。
• 扩展至中文和越南语，通过LLM翻译并由语言专业的人工标注者增强数据质量。

搜集汇总

背景与挑战

背景概述

该数据集是一个包含多种有害类别问题的集合，旨在评估语言模型的安全性，支持英语、中文和越南语，总共有1,650条数据。