chadlzx/openai_summarize_comparisons_relabel

该数据集是CarperAI/openai_summarize_comparisons数据集的重新标注版本。标注过程使用了基于llama-2-7b模型训练的奖励模型，并在CarperAI/openai_summarize_comparisons数据集的训练集上进行。标注脚本通过计算选择的响应和拒绝的响应的得分差异，生成新的标注。

原始信息汇总

数据集概述

该数据集是对 CarperAI/openai_summarize_comparisons 数据集的重新标注版本。

标注过程

• 标注模型：使用基于 llama-2-7b 训练的 Reward Model 进行标注。
• 数据集分割：标注过程涉及训练集和测试集。
• 标注脚本：使用 Python 脚本进行标注，脚本包括以下步骤：
  • 加载 CarperAI/openai_summarize_comparisons 数据集。
  • 使用 LlamaModelForScore 模型对选定和拒绝的摘要进行评分。
  • 计算选定摘要和拒绝摘要的得分差异，并根据差异重新标注。
  • 将重新标注的结果保存为 JSON 文件。

数据集文件

重新标注的数据集文件命名为 openai_summarize_comparisons_relabel_{split}.json，其中 {split} 表示数据集的分割（训练集或测试集）。

许可证

该数据集的许可证为 Apache-2.0。