webgpt_comparisons

WebGPT Comparisons 仓库提供了一个包含19578条对比数据的集合，这些数据来源于WebGPT项目中用于训练奖励模型的反馈。数据集中，每个样本包含针对同一问题的两个模型答案及其元数据，包括问题文本、模型浏览时找到的引文、最终答案以及答案的偏好得分（-1到1之间）。此数据集适用于训练奖励模型，以使问答模型更好地对齐人类偏好。该数据集的授权许可信息可在其引用的论文中找到。