HachiML/self-rewarding_AIFT_MSv0.3_lora

该数据集是通过使用特定模型对指令生成回答并进行评分创建的AIFT（AI Feedback Tuning）数据。具体步骤包括：1. 使用[HachiML/self-rewarding_instruct](https://huggingface.co/datasets/HachiML/self-rewarding_instruct)的指令生成四个回答；2. 对回答进行评分；3. 选择最高评分的回答作为chosen，最低评分的回答作为rejected。数据集由[HachiML](https://huggingface.co/HachiML)创建，语言为日语，许可证为Apache 2.0，相关代码可在[Alpaca-jp](https://github.com/Hajime-Y/Alpaca-jp) GitHub仓库中找到。

原始信息汇总

数据集概述

基本信息

• 语言: 日语
• 许可证: Apache 2.0
• 数据集大小分类: 10K<n<100K
• 任务分类: 文本生成

数据集特征

• 特征列表:
  • instruction_id: 字符串
  • instruction: 字符串
  • input: 字符串
  • chosen: 字符串
  • rejected: 字符串
  • chosen_id: 字符串
  • rejected_id: 字符串
  • chosen_reward: 浮点数 (float64)
  • rejected_reward: 浮点数 (float64)

数据集分割

• AIFT_M1:
  • 字节数: 8647203
  • 示例数: 3844
• AIFT_M2:
  • 字节数: 14604087
  • 示例数: 6580

数据集大小

• 下载大小: 8155684 字节
• 数据集大小: 23251290 字节

配置

• 默认配置:
  • 数据文件:
    • AIFT_M1: data/AIFT_M1-*
    • AIFT_M2: data/AIFT_M2-*

标签

• 合成数据
• 自奖励