sdzxc321/PKU-SafeRLHF

PKU-SafeRLHF数据集是一个高质量的数据集，包含83.4K个偏好条目，标注了无害性和有用性两个维度。每个条目包含对一个问题的两个回答，以及基于无害性和有用性对这两个回答的偏好。数据集中的回答来自Alpaca-7B、Alpaca2-7B和Alpaca3-8B模型。每个Q-A对都被标注了一个或多个危害类别（共19个）和严重程度级别（轻微、中等、严重）。数据集的目的是帮助研究如何使模型更加安全和无害。

PKU-SafeRLHF is a high-quality dataset consisting of 83.4K preference entries annotated across two dimensions: harmlessness and helpfulness. Each entry includes two responses to a question, along with safety meta-labels and preferences for both responses based on their helpfulness and harmlessness. The responses in this dataset come from Alpaca-7B, Alpaca2-7B, and Alpaca3-8B models. Each Q-A pair is labeled with one or more harm categories (19 in total) and a severity level (minor, moderate, severe). The dataset aims to facilitate research on making models safer and less harmful.

搜集汇总

数据集介绍

构建方式

PKU-SafeRLHF数据集作为大型语言模型安全对齐研究的重要资源，其构建过程体现了精细化的设计理念。研究团队首先对Llama2-7B和Llama3-8B基础模型在Alpaca 52K数据集上进行监督微调，分别得到Alpaca2-7B和Alpaca3-8B模型。随后，通过精心设计的数据采集流水线，收集了来自Alpaca-7B、Alpaca2-7B及Alpaca3-8B三个模型针对同一问题的成对回复，形成了包含83.4K条偏好条目的高质量数据集。每条数据均经过人工标注，获得安全性元标签以及基于有益性和无害性两个维度的偏好排序。

特点

该数据集最显著的特点在于其多维度、多粒度的标注体系。每条问答对不仅被标注为19种细粒度危害类别（涵盖国家安全、歧视行为、隐私侵犯等），还被赋予三级严重程度评估（轻微、中等、严重），突破了传统的二分类安全判断。特别值得一提的是，数据集实现了有益性和无害性的独立双维度排序：无害性评估基于19个危害类别的风险中性判定，而有帮助性则专注于回答质量。通过强制逻辑约束，无害回答总是排在有害回答之前，确保了排序的伦理一致性。

使用方法

研究人员可通过HuggingFace Datasets库便捷加载该数据集。使用load_dataset('PKU-Alignment/PKU-SafeRLHF')即可获取包含所有模型回复的完整集合。若需针对特定模型进行实验，可添加name参数指定子集，例如load_dataset('PKU-Alignment/PKU-SafeRLHF', name='alpaca-7b')仅加载Alpaca-7B的回复数据。该数据集支持多种安全对齐研究场景，包括基于人类偏好的强化学习（RLHF）、安全性微调以及多维度偏好建模，为提升大语言模型的安全性提供了关键数据基础。

背景与挑战

背景概述

随着大语言模型在各类自然语言处理任务中的广泛应用，其安全性问题日益凸显。由北京大学对齐研究团队于2024年发布的PKU-SafeRLHF数据集，旨在解决模型生成内容中潜在的有害性与有用性之间的冲突。该数据集包含83.4K条人工偏好标注数据，涵盖无害性和有用性两个独立维度，并细分19种危害类别与三级严重程度。作为BeaverTails项目的延伸，PKU-SafeRLHF通过多维标注体系，为研究者在安全对齐与实用效能间寻求平衡提供了宝贵资源，对推动负责任AI发展具有里程碑意义。

当前挑战

该数据集所应对的核心挑战在于解决大语言模型在生成内容时，难以兼顾无害性与有用性的根本矛盾。传统对齐方法往往将安全视为二元分类问题，忽视了危害程度与语境的复杂性。在构建过程中，团队面临多重困难：首先，需要建立精细化的19类危害标签体系与三级严重程度划分，确保标注粒度与实用性的平衡；其次，需设计两独立维度（无害性与有用性）的偏好排序机制，避免两者耦合导致的标注偏差；最后，由于涉及敏感内容，需制定严格的伦理准则并协调标注团队在主观判断上的一致性，这显著增加了数据采集的复杂度和成本。

常用场景

经典使用场景

PKU-SafeRLHF数据集的核心价值在于其为大型语言模型的安全对齐研究提供了多维度的精细化标注。具体而言，该数据集包含逾8.3万条偏好条目，每条数据均围绕一个查询提供两种回复，并分别为其标注了有害性与有用性两个维度的偏好评判。这种双维度标注使得研究者能够探索如何在保持回复有用性的同时，有效抑制模型生成有害内容，成为评估和改进语言模型安全策略的基准资源。

解决学术问题

该数据集直面大型语言模型部署过程中的核心矛盾：如何在有用性与无害性之间取得平衡。传统研究多将安全性视为简单的二元分类，而PKU-SafeRLHF通过界定19种具体危害类别和三级严重层级（轻微、中等、严重），揭示了安全问题的复杂层次结构。这一精细化的标注体系显著推动了安全对齐理论的深化，使学术研究从笼统的“安全管控”走向精确的“风险评估与调控”，为构建更可靠的语言模型提供了关键的数据支撑。

衍生相关工作

该数据集衍生了多项具有影响力的研究工作。其早期版本BeaverTails开创了面向安全对齐的人类偏好数据集构建范式，并提出基于双维度奖励模型的安全强化学习方法。后续工作进一步探索了精细化的安全标注策略，衍生出单维度偏好数据集和多层级安全对齐框架，为包括Llama系列在内的主流语言模型的安全微调提供了标准化评估基准，推动了安全对齐方向从数据构建到算法优化的系统性发展。