betteruncensored/hh-rlhf

该数据集是Anthropic/hh-rlhf的改进版本，主要用于训练无审查的模型。数据集包含两种类型的数据：1) 人类偏好数据，用于训练偏好模型，这些数据不应用于监督训练对话代理，因为这可能导致有害模型；2) 红队对话数据，用于理解红队攻击模型的方式，这些数据不应用于微调或偏好建模。数据集还包含可能令人不适的内容，如歧视性语言、暴力等，仅适用于研究目的。

原始信息汇总

数据集卡片 HH-RLHF Better Uncensored

Better Uncensored 概述

这是著名的 Anthropic 偏好数据集 Anthropic/hh-rlhf 的 Better Uncensored 版本。

仅对训练文件进行了如下处理：

bash find ../hh-rlhf/ -type f -name train.jsonl | xargs -I {} python uncensor_rlhf.py --in-file {}

这应该可以作为原始数据集的无审查模型训练的直接替代品。根据文件不同，大约有 10% 到 25% 的数据被丢弃。

数据集概述

本仓库提供两种不同类型的数据：

1. 关于帮助性和无害性的人类偏好数据，来自论文 Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback。这些数据旨在用于训练后续 RLHF 训练的偏好（或奖励）模型，不适用于对话代理的监督训练。
2. 来自 Red Teaming Language Models to Reduce Harms: Methods, Scaling Behaviors, and Lessons Learned 的人工生成和标注的红队对话数据。这些数据旨在理解人群工作者如何红队模型以及哪些类型的红队攻击是成功的或不成功的，不适用于微调或偏好建模。

免责声明：数据（尤其是无害性偏好数据和红队数据）包含可能具有冒犯性或令人不安的内容。请仅根据您个人的风险承受能力与数据互动。这些数据旨在用于研究目的，尤其是可以减少模型危害的研究。

关于帮助性和无害性的人类偏好数据（PM 数据）

数据格式非常简单，每行 jsonl 文件包含一对文本，一个“chosen”和一个“rejected”。

• 帮助性：数据分为训练/测试集，来自我们的基础模型（上下文蒸馏的 52B 语言模型），通过拒绝采样（主要采用 best-of-16 采样）与早期偏好模型对比，以及在我们的迭代“在线”过程中采样的数据集。
• 无害性：数据仅从我们的基础模型收集，格式相同。

红队数据（非 PM 数据）

每行 jsonl 文件包含一个字典，字段包括：

• transcript：人类对手（红队成员）和 AI 助手之间对话的文本记录
• min_harmlessness_score_transcript：AI 助手的无害性得分（越低越有害）
• num_params：语言模型的参数数量
• model_type：模型的类型
• rating：红队成员对成功破坏 AI 助手的评级（Likert 量表，越高越成功）
• task_description：红队成员关于如何尝试红队 AI 助手的简短文本描述
• task_description_harmlessness_score：任务描述的无害性得分（越低越有害）
• red_team_member_id：红队成员的任意标识符
• is_upworker：红队成员是否来自 Upwork 平台的二进制指示符
• tags：每个对话记录最多 6 个标签，描述红队尝试的简短描述

使用方法

每个数据集位于单独的子目录中。加载单个子集的示例如下：

python from datasets import load_dataset

加载所有帮助性/无害性子集（共享相同模式）

dataset = load_dataset("Anthropic/hh-rlhf")

加载其中一个无害性子集

dataset = load_dataset("Anthropic/hh-rlhf", data_dir="harmless-base")

加载红队子集

dataset = load_dataset("Anthropic/hh-rlhf", data_dir="red-team-attempts")

搜集汇总

数据集介绍

构建方式

本数据集源自Anthropic发布的hh-rlhf偏好数据集，经过“Better Uncensored”项目的去审查处理构建而成。具体而言，仅对原始数据集中的训练文件（train.jsonl）执行了rlhf去审查脚本，通过命令行批量处理，移除了约10%至25%的内容，旨在消除模型训练中的安全性限制，使数据更适合训练无审查的对话模型。该过程确保了数据格式与原始数据集完全兼容，可作为直接替代品使用。

特点

该数据集继承了原始hh-rlhf的两类核心数据：人类偏好数据与红队攻击对话数据。人类偏好数据涵盖帮助性与无害性维度，包含成对的“选择”与“拒绝”文本，用于训练偏好或奖励模型；红队攻击数据则记录了人类攻击者与AI助手的完整对话转录，附有危害性评分、模型参数、攻击者评级等多维标注。经过去审查处理后，数据保留了原始结构但移除了部分限制性内容，为研究无约束对话模型提供了独特资源。

使用方法

数据集可通过HuggingFace的datasets库便捷加载。用户可直接使用load_dataset('betteruncensored/hh-rlhf')加载所有子集，或通过data_dir参数指定特定目录，如data_dir='harmless-base'加载无害性子集、data_dir='red-team-attempts'加载红队攻击数据。加载后的数据以JSON Lines格式呈现，每行包含chosen和rejected字段（偏好数据）或transcript、rating等字段（红队数据），便于直接用于模型训练或分析。

背景与挑战

背景概述

在强化学习从人类反馈（RLHF）技术蓬勃发展的浪潮中，Anthropic于2022年发布的hh-rlhf数据集成为对齐研究领域的基石性资源。该数据集由Anthropic研究团队构建，旨在解决如何训练兼具帮助性与无害性的语言模型这一核心问题，其成果发表于《Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback》论文。数据集包含人类对模型回复的偏好标注，涵盖帮助性与无害性两个维度，并附带红队攻击对话，为偏好模型训练与安全评估提供了标准化基准。betteruncensored/hh-rlhf作为其衍生版本，通过去审查脚本对原始训练数据进行过滤，移除了约10%至25%的样本，旨在服务于无审查模型的训练需求，进一步拓展了该数据集在开放域对话对齐研究中的应用边界。

当前挑战

该数据集面临的核心挑战涉及多个层面。首先，在领域问题层面，原始hh-rlhf数据集旨在解决语言模型帮助性与无害性的平衡难题，但偏好标注中隐含的审查倾向可能导致模型过度规避敏感话题，限制了其在实际应用中的表达自由度。betteruncensored版本虽试图通过过滤缓解此问题，但去审查过程可能引入新的偏差，如丢弃了部分关键安全样本，削弱模型对有害内容的识别能力。其次，在构建过程中，数据筛选依赖自动化脚本，缺乏对过滤后数据质量的人工校验，难以保证剩余样本在帮助性与无害性维度上的均衡性。此外，红队攻击数据的标注主观性强，不同众包人员的评判标准差异可能影响数据一致性，为偏好模型的鲁棒训练带来额外挑战。

常用场景

经典使用场景

在强化学习从人类反馈（RLHF）的范式下，该数据集作为偏好建模与奖励函数学习的核心语料，被广泛用于训练能够区分有益性与无害性的偏好模型。研究者通过构建“选择-拒绝”配对样本，使模型学习人类对对话质量的隐式判断，进而为后续的强化学习优化提供可微的奖励信号。其经典用法聚焦于对齐语言模型的行为与人类价值观，尤其适用于探索如何在保持模型有用性的同时抑制有害输出，是RLHF技术栈中不可或缺的数据基石。

解决学术问题

该数据集直面大语言模型对齐研究中的关键矛盾：如何同时优化模型的“有益性”与“无害性”。传统监督微调难以兼顾二者间的权衡，而该数据通过人类偏好标注，为量化评估模型行为提供了可操作的基准。它解决了奖励模型训练中缺乏高质量人类判断数据的瓶颈，推动了从“基于规则”到“基于偏好”的对齐方法论演进。其开源性质使得学术界能够复现并改进Anthropic提出的RLHF框架，加速了安全对齐理论的实证验证与迭代。

衍生相关工作

该数据集催生了多个关键研究方向：其一，基于其偏好标注范式，衍生出“无审查RLHF”变体（如Better Uncensored版本），探索在保留模型开放性同时抑制有害行为；其二，红队数据启发了对抗性提示生成与鲁棒性评估的系列工作，例如通过分析攻击成功率与模型规模的关系，揭示扩展定律在对齐中的局限性；其三，该数据被用作基准评估多轮对话中的价值观一致性，推动对比学习、逆强化学习等新方法在偏好建模中的应用。