PKU-Alignment/PKU-SafeRLHF-prompt

该数据集包含来自PKU-SafeRLHF的44.6K个独特提示。其中22.4%的提示来自兄弟项目BeaverTails。此外，我们使用Alpaca 52K数据集对Llama3-70B进行了SFT，生成了Alpaca3-70B。在我们的数据集中，63.6%和14.0%的数据分别由Alpaca3-70B和WizardLM-30B-Uncensored在专家指导下生成。

This dataset contains 44.6K unique prompts sourced from PKU-SafeRLHF. Of these, 22.4% of the prompts originate from its sibling project BeaverTails. Furthermore, we performed Supervised Fine-Tuning (SFT) on Llama3-70B using the Alpaca 52K dataset to generate the Alpaca3-70B model. In this dataset, 63.6% and 14.0% of the data were generated by Alpaca3-70B and WizardLM-30B-Uncensored, respectively, under expert supervision.

原始信息汇总

数据集卡片 for PKU-SafeRLHF-prompt

概述

• 许可证: cc-by-nc-4.0
• 任务类别: 文本生成
• 语言: 英语
• 标签: 安全, AI安全, 大型语言模型

数据集详情

• 数据集大小: 包含44.6K个唯一提示
• 来源:
  • 22.4% 来自项目 BeaverTails
  • 63.6% 由 Alpaca3-70B 生成
  • 14.0% 由 WizardLM-30B-Uncensored 生成

配置

• 默认配置:
  • 数据文件:
    • 分割: 训练
    • 路径: data/PKU-SafeRLHF-prompts.jsonl

使用方法

python from datasets import load_dataset

dataset = load_dataset("PKU-Alignment/PKU-SafeRLHF-prompt")

搜集汇总

数据集介绍

构建方式

在人工智能安全领域，构建高质量且覆盖安全维度的提示数据集对提升大语言模型的安全性至关重要。PKU-Alignment/PKU-SafeRLHF-prompt数据集共包含44.6K个独特提示，其构建过程融合了多源数据与专家引导。其中22.4%的提示源自同源项目BeaverTails，而63.6%和14.0%分别由Alpaca3-70B和WizardLM-30B-Uncensored在专家指导下生成，Alpaca3-70B是基于Llama3-70B在Alpaca 52K数据集上微调所得。该构建方式确保了提示的多样性与安全性导向。

特点

该数据集的核心特点在于其独特的生成流水线与安全专注性。通过专家引导的模型生成与现有安全数据集的整合，数据集在保持提示丰富性的同时，着重涵盖了可能触发不安全响应的场景。其提示分布经过精心设计，使得安全相关主题占据显著比例，为后续进行安全强化学习提供了针对性的训练素材。此外，数据集的英文单语特性与文本生成任务定位，使其适用于主流大语言模型的安全微调与评估。

使用方法

使用该数据集极为便捷，研究人员可通过HuggingFace的datasets库直接加载。只需调用load_dataset('PKU-Alignment/PKU-SafeRLHF-prompt')函数，即可获取默认配置下的训练集数据。数据集以JSONL格式存储，便于进行后续的提示处理、模型输入构造或安全偏好学习实验。该简洁的加载方式降低了使用门槛，使得安全对齐研究能够快速开展。

背景与挑战

背景概述

随着大语言模型在自然语言处理领域的广泛应用，其安全性问题逐渐成为学术界与工业界关注的焦点。PKU-Alignment团队于2023年推出的PKU-SafeRLHF-prompt数据集，旨在为安全对齐研究提供高质量的提示数据。该数据集由北京大学等机构的研究人员主导，包含44.6K条独特提示，其中22.4%源自BeaverTails项目，其余由经过专家指导的Alpaca3-70B和WizardLM-30B-Uncensored模型生成。这一数据集的核心研究问题在于如何通过强化学习与人类反馈机制，引导语言模型生成更安全、更符合伦理的响应。PKU-SafeRLHF-prompt的发布为安全对齐领域提供了标准化的评估基准，推动了对抗性提示测试与模型鲁棒性研究的进展，对构建可信赖的人工智能系统具有重要影响力。

当前挑战

PKU-SafeRLHF-prompt所解决的领域挑战在于传统语言模型缺乏对有害内容的识别与规避能力，尤其在处理涉及暴力、歧视或隐私泄露的提示时，模型可能生成不当响应，亟需安全对齐技术来约束其行为。在数据集构建过程中，研究人员面临多重困难：首先，高质量安全提示的获取需要平衡多样性与针对性，既要覆盖广泛的风险场景，又要避免引入低质量或重复样本；其次，利用大型模型生成提示时，需通过专家指导确保输出符合安全标准，但专家标注成本高昂且一致性难以保证；最后，提示的分布需反映真实用户交互中的安全风险，而现有数据来源（如BeaverTails）的偏差可能导致模型泛化能力不足，这要求构建流程中融入动态调整机制以优化数据代表性。

常用场景

经典使用场景

PKU-SafeRLHF-prompt数据集汇集了44.6K条高质量提示，其中22.4%源自BeaverTails项目，63.6%由Alpaca3-70B模型在专家指导下生成，14.0%来自WizardLM-30B-Uncensored。这一精心设计的提示集成为大语言模型安全性研究的基石，经典应用于安全对齐训练中的对抗性提示生成与评估。研究者借助该数据集构建红队测试场景，通过模拟恶意或敏感输入，检验模型在有害内容生成、偏见表达和伦理边界上的响应表现，从而量化模型的安全脆弱性并优化防御机制。其多源异构的提示结构确保了覆盖面的广泛性与挑战性，为安全强化学习提供了标准化的基准测试平台。

解决学术问题

该数据集旨在攻克大语言模型在安全对齐领域的关键学术难题，即如何系统性地识别并缓解模型在开放域对话中的潜在危害行为。通过提供覆盖暴力、歧视、隐私泄露等敏感主题的高质量提示，它解决了传统安全评估中依赖人工构造样例的低效性与不全面性问题。研究者可基于此数据集构建自动化红队测试框架，量化模型在对抗性输入下的违规率，并对比不同对齐算法（如RLHF、DPO）的安全效用。其意义在于推动了安全对齐从经验性评估向标准化、可复现的实证研究转型，为构建可信赖的AI系统奠定了方法论基础。

衍生相关工作

该数据集衍生了一系列推动安全对齐领域发展的经典工作。基于其构建的PKU-SafeRLHF项目首次提出了细粒度安全奖励模型与多目标优化框架，实现了模型有用性与无害性的协同提升。后续研究如Safe-RLHF-DPO利用该提示集进行偏好数据增强，改进了直接偏好优化算法在安全约束下的收敛效率。此外，BeaverTails项目借助其扩展了安全行为分类体系，开发了首个大规模多标签安全标注数据集。这些工作共同构建了从提示生成、安全评估到对齐训练的系统性研究链条，显著提升了开源大模型在安全性上的竞争力。