Magpie-Align/Magpie-Air-MT-300K-v0.1

该数据集是通过Magpie方法从Llama 3 8B Instruct模型中生成的，包含了300K高质量的多轮对话数据。数据集的过滤条件包括输入质量、输入难度、奖励差异等，并且去除了重复和不完整的指令。数据集的结构包括模型名称、输入配置、对话内容等字段。

This dataset is generated by Llama 3 8B Instruct using the Magpie method, containing 300K high-quality multi-turn conversation data. The filtering conditions for the dataset include input quality, input difficulty, reward difference, etc., and remove repetitive and incomplete instructions. The structure of the dataset includes fields such as model name, input configuration, conversation content, etc.

原始信息汇总

数据集概述

数据集信息

• 特征:

  • model: 模型名称，类型为字符串。
  • gen_input_config: 生成输入配置，包含以下子字段：
    • temperature: 温度参数，类型为浮点数。
    • top_p: 采样概率参数，类型为浮点数。
  • input1: 输入1，类型为字符串。
  • output1: 输出1，类型为字符串。
  • input2: 输入2，类型为字符串。
  • output2: 输出2，类型为字符串。
  • conversations: 对话列表，包含以下子字段：
    • from: 对话来源，类型为字符串。
    • value: 对话内容，类型为字符串。
  • uuid: 唯一标识符，类型为字符串。

• 分割:

  • train: 训练集，包含300,000个样本，总大小为3,714,318,522字节。

• 下载大小: 1,946,163,678字节。

• 数据集大小: 3,714,318,522字节。

配置

• 默认配置:
  • data_files:
    • train: 训练集文件路径为data/train-*。

过滤设置

• 输入质量: ≥ 良好
• 输入难度: ≥ 中等
• 奖励差异: ≥ 0
• 移除重复和不完整的指令（例如以冒号结尾的指令）
• 选择300K个具有最长响应的数据

数据集导航

模型名称	数据集	类型	描述
Llama 3 70B Instruct	Magpie-Pro-1M	SFT	使用Meta Llama 3 70B构建的1M原始对话。
Llama 3 70B Instruct	Magpie-Pro-300K-Filtered	SFT	应用过滤器并选择300K高质量对话。
Llama 3 70B Instruct	Magpie-Pro-MT-300K	SFT	选择300K困难问题并扩展为多轮对话。
Llama 3 8B Instruct	Magpie-Air-3M	SFT	使用Meta Llama 3 8B构建的3M原始对话。
Llama 3 8B Instruct	Magpie-Air-300K-Filtered	SFT	应用过滤器并选择300K高质量数据。
Llama 3 8B Instruct	Magpie-Air-MT-300K	SFT	选择300K困难问题并扩展为多轮对话。