Anthropic/hh-rlhf
收藏资源简介:
该数据集包含两种类型的数据:1) 关于帮助性和无害性的人类偏好数据,这些数据用于训练偏好模型或奖励模型,以便后续的RLHF训练;2) 人类生成和注释的红队对话数据,这些数据用于理解众包工作者如何红队模型以及哪些类型的红队攻击是成功的。数据集可能包含令人不适的内容,如歧视性语言、虐待、暴力、自残、剥削等话题,因此仅建议在个人风险承受范围内使用。数据集的目的是用于研究,特别是减少模型危害的研究。数据集的格式包括JSONL文件,其中包含对话记录、无害性评分、模型参数数量、模型类型、红队成员评分等字段。
This dataset contains two types of data: 1) Human preference data regarding helpfulness and harmlessness, which is used to train preference models or reward models for subsequent RLHF training; 2) Human-generated and annotated red teaming dialogue data, which is used to understand how crowdworkers perform red teaming on models and which types of red team attacks are successful. The dataset may contain distressing content, including topics such as discriminatory language, abuse, violence, self-harm, exploitation, etc., and is therefore only recommended for use within one's personal risk tolerance. The purpose of this dataset is for research, particularly research on mitigating model harms. The dataset is formatted as JSONL files, which include fields such as conversation records, harmlessness scores, number of model parameters, model types, and red team member scores.
数据集卡片 for HH-RLHF
数据集概述
本仓库提供两种不同类型的数据:
- 关于帮助性和无害性的人类偏好数据,来自论文《Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback》。这些数据旨在用于后续RLHF训练的偏好(或奖励)模型训练,不适用于对话代理的监督训练。
- 来自《Red Teaming Language Models to Reduce Harms: Methods, Scaling Behaviors, and Lessons Learned》的人类生成和注释的红队对话数据。这些数据旨在理解人群工作者如何红队模型以及哪些类型的红队攻击是成功的或不成功的,不适用于微调或偏好建模。
免责声明:数据(尤其是无害性偏好数据和红队数据)包含可能令人反感或不安的内容。主题包括但不限于歧视性语言和关于虐待、暴力、自残、剥削和其他可能令人不安的主题的讨论。请仅根据您个人的风险承受能力与数据互动。数据旨在用于研究目的,特别是可以减少模型危害的研究。数据中的观点不代表Anthropic或其员工的观点。
关于帮助性和无害性的人类偏好数据(PM数据)
数据格式非常简单,每个jsonl文件的每一行包含一对文本,一个是“chosen”,另一个是“rejected”。
- 帮助性:数据分为三个部分:基础模型(上下文蒸馏的52B语言模型)、拒绝抽样(主要使用best-of-16抽样)和迭代“在线”过程的抽样数据。
- 无害性:数据仅从基础模型收集,格式相同。
数据收集过程和人群工作者群体的详细信息可在论文的第2节和附录D中找到。
红队数据(非PM数据)
每个jsonl文件的每一行包含一个字典,字段包括:
transcript:人类对手(红队成员)和AI助手之间的对话记录。min_harmlessness_score_transcript:AI助手的无害性得分(越低越有害)。num_params:驱动AI助手的语言模型的参数数量。model_type:驱动AI助手的模型类型。rating:红队成员对成功破坏AI助手的评级(Likert量表,越高越成功)。task_description:红队成员关于如何尝试红队AI助手的简短描述。task_description_harmlessness_score:任务描述的无害性得分(越低越有害)。red_team_member_id:红队成员的任意标识符。is_upworker:红队成员是否来自Upwork平台的二进制指示符。tags:每个对话记录的最多6个标签,描述红队尝试。
数据和数据收集程序的详细信息可在论文的附录中的Datasheet中找到。
使用方法
每个数据集位于单独的子目录中。加载单个子集的方法如下:
python from datasets import load_dataset
加载所有帮助性/无害性子集(共享相同的模式)
dataset = load_dataset("Anthropic/hh-rlhf")
加载其中一个无害性子集
dataset = load_dataset("Anthropic/hh-rlhf", data_dir="harmless-base")
加载红队子集
dataset = load_dataset("Anthropic/hh-rlhf", data_dir="red-team-attempts")




