PKU-Alignment/PKU-SafeRLHF-single-dimension

该数据集通过对PKU-SafeRLHF数据集中的Q-A-B对进行单维度标注，提供了81.1K的高质量偏好数据集。每个条目包括两个回答、安全元标签和偏好。数据集还包含了在Llama2-7B和Llama3-8B上进行SFT的结果，以及Alpaca-7B、Alpaca2-7B和Alpaca3-8B的响应。数据旨在用于研究目的，特别是减少模型有害性的研究。

原始信息汇总

数据集卡片 PKU-SafeRLHF-single-dimension

数据集概述

通过在 PKU-SafeRLHF 中标注 Q-A-B 对，本数据集提供了 81.1K 高质量的偏好数据集。具体来说，每个条目包含对一个问题的两个回答，以及这两个回答的安全元标签和偏好。

在本研究中，我们对 Llama2-7B 和 Llama3-8B 进行了 SFT 处理，使用 Alpaca 52K 数据集，生成了 Alpaca2-7B 和 Alpaca3-8B。该数据集包含来自 Alpaca-7B、Alpaca2-7B 和 Alpaca3-8B 的响应，这些响应分别存储在 /data 目录下的相应文件夹中。

使用方法

要加载我们的数据集，请使用 load_dataset() 函数，如下所示：

python from datasets import load_dataset

dataset = load_dataset("PKU-Alignment/PKU-SafeRLHF-single-dimension")

要加载数据集的指定子集，请添加 data_dir 参数。例如：

python from datasets import load_dataset

dataset = load_dataset("PKU-Alignment/PKU-SafeRLHF-single-dimension", data_dir=data/Alpaca-7B)