princeton-nlp/gemma2-ultrafeedback-armorm

该数据集名为gemma2-ultrafeedback-armorm，主要用于训练模型princeton-nlp/gemma-2-9b-it-SimPO。数据集包含约60k的训练样本和2k的测试样本，遵循了HuggingFaceH4/ultrafeedback_binarized的原始划分。数据集的创建过程包括使用google/gemma-2-9b-it生成响应，并使用RLHFlow/ArmoRM-Llama3-8B-v0.1进行偏好标注。每个提示生成5个响应，过滤掉完全相同的响应后，使用ArmoRM-Llama3-8B-v0.1对每个响应进行评分，选择最高分的响应作为chosen，最低分的响应作为rejected。

The dataset, named gemma2-ultrafeedback-armorm, is designed to train the model princeton-nlp/gemma-2-9b-it-SimPO. It contains various features including prompt_id, prompt, all_generated_responses, all_rm_scores, chosen, and rejected. The dataset is split into training and testing sets with 59,569 and 1,941 examples respectively. Each entry in the dataset includes a prompt and multiple generated responses, along with their corresponding reward model scores. The chosen and rejected fields indicate the preferred and least preferred responses based on the scores. The dataset is used to train models for generating and evaluating responses to prompts.

原始信息汇总

数据集概述

数据集结构

• 特征字段:

  • prompt_id: 字符串类型，提示ID。
  • prompt: 字符串类型，提示内容。
  • all_generated_responses: 字符串序列，所有生成的响应。
  • all_rm_scores: 浮点数序列，所有响应的评分。
  • chosen: 列表类型，包含两个字段：
    • content: 字符串类型，被选中的响应内容。
    • role: 字符串类型，被选中的响应角色。
  • rejected: 列表类型，包含两个字段：
    • content: 字符串类型，被拒绝的响应内容。
    • role: 字符串类型，被拒绝的响应角色。

• 数据分割:

  • train: 训练集，包含59569个样本，大小为790191703字节。
  • test: 测试集，包含1941个样本，大小为26074764字节。

• 数据集大小:

  • 下载大小: 412580611字节。
  • 数据集总大小: 816266467字节。

数据集配置

• 默认配置:
  • config_name: default
  • data_files:
    • train: data/train-*
    • test: data/test-*

数据集创建

• 提示来源: HuggingFaceH4/ultrafeedback_binarized
• 响应生成模型: google/gemma-2-9b-it
• 评分模型: RLHFlow/ArmoRM-Llama3-8B-v0.1

数据集示例

json { "prompt_id": "086b3e24f29b8956a01059f79c56db35d118a06fb6b844b095737d042795cd43", "prompt": "how can i develop a habit of drawing daily", "all_generated_responses": [ "...", "...", "...", "...", "..." ], "all_rm_scores": [ 0.220703125, 0.216796875, 0.2236328125, 0.2138671875, 0.2177734375 ], "chosen": [ { "role": "user", "content": "how can i develop a habit of drawing daily" }, { "role": "assistant", "content": "..." } ], "rejected": [ { "role": "user", "content": "how can i develop a habit of drawing daily" }, { "role": "assistant", "content": "..." } ] }

数据集引用

• Gemma模型: bibtex @article{gemma_2024, title={Gemma}, url={https://www.kaggle.com/m/3301}, DOI={10.34740/KAGGLE/M/3301}, publisher={Kaggle}, author={Gemma Team}, year={2024} }

• UltraFeedback论文: bibtex @article{cui2023ultrafeedback, title={...} }