argilla/comparison-data-falcon-with-feedback

该数据集是通过Argilla创建的，包含一个配置文件、数据集记录以及注释指南。数据集记录包括文本字段和问题字段，用于评估模型输出的帮助性、真实性和无害性。数据集可以用于多种NLP任务，但没有关联的排行榜。

原始信息汇总

数据集概述

数据集基本信息

• 名称: comparison-data-falcon-with-feedback
• 大小: 1K<n<10K
• 标签: rlfh, argilla, human-feedback

数据集描述

数据集内容

• 配置文件: argilla.cfg，符合Argilla数据集格式，用于配置数据集。
• 数据记录: 与HuggingFace datasets兼容的格式，可通过FeedbackDataset.from_huggingface或datasets库的load_dataset方法加载。
• 标注指南: 用于构建和整理数据集的指南，若在Argilla中定义。

加载方式

• 使用Argilla: 通过安装Argilla (pip install argilla --upgrade) 并使用以下代码加载数据集： python import argilla as rg ds = rg.FeedbackDataset.from_huggingface("argilla/comparison-data-falcon-with-feedback")

• 使用datasets: 通过安装datasets (pip install datasets --upgrade) 并使用以下代码加载数据集： python from datasets import load_dataset ds = load_dataset("argilla/comparison-data-falcon-with-feedback")

数据集结构

数据字段

• 字段: 当前仅支持文本字段，用于提供对问题的响应。

  • instruction: 文本字段，必填。
  • response-1: 文本字段，必填。
  • response-2: 文本字段，必填。

• 问题: 询问标注者的问题，类型包括评分、文本、单选或多选。

  • choose-best: 评分问题，必填，描述为“选择最有帮助、无害且真实的响应。选择1表示response-1，2表示response-2，或丢弃如果两者同样好/坏。”，允许值为[1, 2]。

数据实例

• 数据实例包含external_id、字段（如instruction、response-1、response-2）和响应（如choose-best的评分）。

数据集创建

标注指南

• 基于论文Training Language Models to Follow Instructions with Human Feedback，指南详细描述了如何评估输出以确保其有帮助、真实且无害。

数据分割

• 数据集包含单一分割，即train。