yangzhao02/ListUltraFeedback

该数据集是从UltraFeedback和llama3-ultrafeedback-armorm数据集构建的。首先从ArmoRM-Llama3-8B-v0.1奖励模型获取UltraFeedback的总体分数，然后选择得分最高和最低的2个响应，并从剩余的5个响应中随机选择4个响应。该数据集可以用于列表式和成对偏好优化。

The dataset is constructed from UltraFeedback and princeton-nlp/llama3-ultrafeedback-armorm. It first obtains ultrafeedback overall scores from the ArmoRM-Llama3-8B-v0.1 Reward Model, selects two responses with the highest and lowest scores, and then randomly selects four responses from the remaining five. This dataset is suitable for Listwise and Pairwise preference optimization.

原始信息汇总

数据集概述

数据集信息

• 语言: 英语
• 特征:
  • prompt_id: 字符串类型
  • prompt: 字符串类型
  • all_responses: 字符串序列类型
  • overall_scores: 浮点数序列类型
• 分割:
  • train:
    • 字节数: 773,590,437
    • 样本数: 59,880
  • test:
    • 字节数: 25,536,648
    • 样本数: 1,968
• 下载大小: 356,116,686 字节
• 数据集大小: 799,127,085 字节

配置

• 配置名称: default
• 数据文件:
  • train: data/train-*
  • test: data/test-*

数据集构建

• 数据集基于 UltraFeedback 和 princeton-nlp/llama3-ultrafeedback-armorm 构建。
• 使用 ArmoRM-Llama3-8B-v0.1 奖励模型获取 UltraFeedback 的整体评分。
• 选择评分最高和最低的各两个响应，并从剩余的五个响应中随机选择四个响应。

应用场景

• 适用于 Listwise 和 Pairwise 偏好优化。