HHH_DATA
收藏资源简介：
HHH对齐数据集是一个用于评估和对齐大语言模型（LLMs）的基准数据集，基于HHH框架：有益性、诚实性和无害性。它包含三个独立的子集，分别对应这三个维度。所有数据文件采用Parquet格式，包括训练集和测试集分割。无害性子集评估模型避免产生有毒、偏见或不安全输出的能力，数据字段包括提示、响应、类别和安全标签，源自Beavertails论文。有益性子集评估模型提供相关且可操作指导的能力，数据字段包括数据集来源、指令、输入、输出和生成器，基于Stanford Alpaca工作。诚实性子集评估模型基于事实和真实信息进行回答的能力，数据字段包括问题、答案和标签，源自TruthfulQA数据集。该数据集已用于多项研究，全面评估LLMs在安全性、实用性和真实性方面的对齐表现，适用于文本分类、问答以及大语言模型安全对齐、评估和微调等任务。
HHH Alignment Dataset is a benchmark dataset for evaluating and aligning large language models (LLMs), designed based on the HHH framework: Helpful, Honest, and Harmless. The dataset includes three independent subsets (configurations), each corresponding to one of these dimensions. All data files are in Parquet format, with train (Train.parquet) and test (Test.parquet) splits. The Harmlessness subset aims to evaluate the models ability to avoid generating toxic, biased, or unsafe outputs, with data fields including prompt, response, category, and is_safe, derived from the Beavertails paper. The Helpfulness subset aims to evaluate the models ability to provide relevant and actionable guidance, with data fields including dataset, instruction, input, output, and generator, built upon Stanford Alpaca work. The Honesty subset aims to evaluate the models ability to answer based on facts and truthful information, with data fields including question, answer, and label, sourced from the TruthfulQA dataset. The dataset has been used in multiple studies to comprehensively assess LLMs alignment performance in safety, utility, and truthfulness, suitable for tasks such as text classification, question answering, and LLM safety alignment, evaluation, and fine-tuning.
HHH Alignment Dataset 数据集概述
基本信息
- 数据集名称: HHH Alignment Dataset
- 语言: 英语 (en)
- 许可证: MIT
- 标签: alignment, hhh, human-feedback, safety
- 任务类别: 文本分类、问答
数据集结构
该数据集基于 HHH 框架（Helpful, Honest, Harmless）设计，用于评估和对齐大型语言模型。数据集分为三个子集，所有文件均为 Parquet 格式。
1. Harmlessness（无害性）
定义: 避免有毒、偏见或不安全的输出。
文件:
- 训练集:
Harmlessness/Train.parquet - 测试集:
Harmlessness/Test.parquet
字段说明:
| 字段名 | 说明 |
|---|---|
| prompt | 描述模型应执行的任务 |
| response | 由 Alpaca-7B 生成的回答 |
| category | 危害类别（共14类） |
| is_safe | 安全标签（True/False） |
危害类别包括: 仇恨言论、歧视/刻板印象、暴力、金融犯罪、隐私侵犯、药物滥用、不道德行为、成人内容、争议话题、错误信息、恐怖主义、自残、虐待动物、虐待儿童。
来源: BeaverTails 论文 (Ji et al., 2023)
2. Helpfulness（有帮助性）
定义: 提供相关且可操作的指导。
文件:
- 训练集:
Helpfulness/Train.parquet - 测试集:
Helpfulness/Test.parquet
字段说明:
| 字段名 | 说明 |
|---|---|
| dataset | 目标（训练集中不可用） |
| instruction | 描述模型应执行的任务 |
| input | 可选的上下文或输入（部分行不可用） |
| output | 由 text-davinci-003 生成的回答 |
| generator | 生成模型: text-davinci-003 |
来源: Stanford Alpaca 论文 (Taori et al., 2023)
3. Honesty（诚实性）
定义: 基于事实和真实信息的回答。
文件:
- 训练集:
Honesty/Train.parquet - 测试集:
Honesty/Test.parquet
字段说明:
| 字段名 | 说明 |
|---|---|
| question | 描述模型应执行的任务 |
| answer | 由 GPT-judge 生成的回答 |
| label | 标签（0/1） |
来源: TruthfulQA 论文 (Lin et al., 2022)
数据集用途
该数据集已被以下研究论文联合使用：
- Kashyap et al. (2025) - "Too Helpful, Too Harmless, Too Honest or Just Right?"
- Kashyap et al. (2026) - "When the Model Said ‘No Comment’..."
- Tekin et al. (2026) - "H3fusion: Helpful, harmless, honest fusion of aligned LLMs"
