HachiML/oasst1_for_self-rewarding_EFT_before_judge

该数据集是基于kunishou/oasst1-89k-ja和OpenAssistant/oasst1创建的，用于self-rewarding的EFT（Evaluation Fine-Tuning data）的元数据。数据集包含日语文本，主要用于文本生成任务。数据集的创建者是HachiML，遵循Apache-2.0许可证。数据集经过过滤，仅包含首次对话轮次、单轮对话、拥有三种以上回答模式且同一parent_id的回答模式在rank上没有重叠的记录。最终，数据集在self-rewarding的论文中被进一步筛选为训练集1630条，测试集531条。

原始信息汇总

数据集概述

数据集特征

• message_tree_id: 字符串类型
• prompter_message_id: 字符串类型
• assistant_message_id: 字符串类型
• instruction: 字符串类型
• input: 字符串类型
• output: 字符串类型
• assistant_rank: 浮点数类型
• assistant_detoxify: 结构体类型，包含以下子特征：
  • identity_attack: 浮点数类型
  • insult: 浮点数类型
  • obscene: 浮点数类型
  • severe_toxicity: 浮点数类型
  • sexual_explicit: 浮点数类型
  • threat: 浮点数类型
  • toxicity: 浮点数类型
• prompter_detoxify: 结构体类型，包含以下子特征：
  • identity_attack: 浮点数类型
  • insult: 浮点数类型
  • obscene: 浮点数类型
  • severe_toxicity: 浮点数类型
  • sexual_explicit: 浮点数类型
  • threat: 浮点数类型
  • toxicity: 浮点数类型
• assistant_labels: 结构体类型，包含以下子特征：
  • count: 整数序列类型
  • name: 字符串序列类型
  • value: 浮点数序列类型
• prompter_labels: 结构体类型，包含以下子特征：
  • count: 整数序列类型
  • name: 字符串序列类型
  • value: 浮点数序列类型

数据集分割

• train: 数据大小为24671269字节，包含12659个样本

数据集大小

• 下载大小: 8255918字节
• 数据集大小: 24671269字节

许可证

• Apache-2.0

任务类别

• 文本生成

语言

• 日语

标签

• self-rewarding
• oasst1

大小类别

• 1K<n<10K