SHP

Stanford Human Preferences Dataset (SHP) 专注于提供人类偏好数据，用于训练奖励模型和评估自然语言生成（NLG）模型。它包含385K个从Reddit收集的人类偏好实例，覆盖18个不同主题领域。数据通过分析Reddit评论的时间戳和得分来推断用户偏好，每个样本包含一个问题/指令和两个评论，并标注了哪个评论更受欢迎。SHP提供标准化数据操作，方便用户加载和使用数据，并鼓励用户利用这些数据进行模型微调和评估，同时提供了预训练的偏好模型SteamSHP。请注意，该数据集可能包含偏见，且不适用于危害最小化任务。