princeton-nlp/llama3-ultrafeedback

该数据集名为llama3-ultrafeedback，主要用于训练princeton-nlp/Llama-3-Instruct-8B-SimPO模型。数据集包含约60k训练样本和2k测试样本，遵循HuggingFaceH4/ultrafeedback_binarized的原始划分。数据集的创建过程包括使用meta-llama/Meta-Llama-3-8B-Instruct生成响应，并使用llm-blender/PairRM进行偏好标注。每个提示生成5个响应，过滤掉所有响应相同的提示，然后使用PairRM对所有生成的响应进行评分，最终将得分最高的响应标记为chosen，得分最低的响应标记为rejected。

原始信息汇总

数据集概述

数据特征

• prompt_id: 字符串类型
• prompt: 字符串类型
• all_generated_responses: 字符串序列
• all_rm_scores: 浮点数序列
• chosen: 列表类型，包含以下字段：
  • content: 字符串类型
  • role: 字符串类型
• rejected: 列表类型，包含以下字段：
  • content: 字符串类型
  • role: 字符串类型

数据分割

• train:
  • 字节数: 882458437
  • 样本数: 59876
• test:
  • 字节数: 28686415
  • 样本数: 1961

数据集大小

• 下载大小: 421181139 字节
• 数据集大小: 911144852 字节

配置信息

• config_name: default
  • data_files:
    • train: data/train-*
    • test: data/test-*