PKU safe RLHF Dataset

该数据集是为了在强化学习从人类反馈（RLHF）中实现安全校准而设计的。它包含了与数据集一同发布的用于安全评估的模型，适用于问答场景下的安全校准任务。

This dataset is developed for safety calibration in Reinforcement Learning from Human Feedback (RLHF). It encompasses models for safety evaluation released together with the dataset, tailored for safety calibration tasks in question answering scenarios.

搜集汇总

背景与挑战

背景概述

PKU safe RLHF Dataset是一个专为强化学习从人类反馈（RLHF）中的安全校准而设计的数据集。它包含用于安全评估的模型，适用于问答场景下的安全校准任务，旨在提升RLHF过程中的安全性。