Magpie-Align/Magpie-Qwen2-Air-3M-v0.1

该数据集是通过Magpie方法从Qwen/Qwen2-7B-Instruct模型中生成的，包含了300万条指令及其对应的响应。数据集的特征包括指令长度、响应长度、任务类别、输入质量、输入难度、最小邻居距离、安全性标签、奖励模型的输出以及语言等。数据集的不同版本包括原始对话、经过过滤的高质量对话以及特定语言（如中文和英文）的对话。

The dataset is generated by the Qwen/Qwen2-7B-Instruct model using the Magpie method, containing 3 million training data entries. The dataset features include uuid, model name, generation input configurations, instructions, responses, conversation records, task categories, other task categories, task category generator, difficulty, intent, knowledge, difficulty generator, input quality, quality explanation, quality generator, llama_guard_2, reward model, instruction reward, minimum neighbor distance, repeat count, minimum similar uuid, instruction length, response length, and language. The dataset split includes a training set, sized at 13897358815 bytes, containing 3,000,000 samples. The download size of the dataset is 7302308346 bytes. Detailed information about the dataset includes input length, output length, task category, input quality, input difficulty, minimum neighbor distance, safety tags, reward, and language.

原始信息汇总

数据集概述

数据集信息

• 特征字段:

  • uuid: 字符串类型
  • model: 字符串类型
  • gen_input_configs: 结构体类型，包含以下字段：
    • temperature: 浮点数类型
    • top_p: 浮点数类型
    • input_generator: 字符串类型
    • seed: 空类型
    • pre_query_template: 字符串类型
  • instruction: 字符串类型
  • response: 字符串类型
  • conversations: 列表类型，包含以下字段：
    • from: 字符串类型
    • value: 字符串类型
  • task_category: 字符串类型
  • other_task_category: 序列类型，字符串
  • task_category_generator: 字符串类型
  • difficulty: 字符串类型
  • intent: 字符串类型
  • knowledge: 字符串类型
  • difficulty_generator: 字符串类型
  • input_quality: 字符串类型
  • quality_explanation: 字符串类型
  • quality_generator: 字符串类型
  • llama_guard_2: 字符串类型
  • reward_model: 字符串类型
  • instruct_reward: 浮点数类型
  • min_neighbor_distance: 浮点数类型
  • repeat_count: 整数类型
  • min_similar_uuid: 字符串类型
  • instruction_length: 整数类型
  • response_length: 整数类型
  • language: 字符串类型

• 数据分割:

  • train: 包含3,000,000个样本，总字节数为13,897,358,815

• 数据集大小:

  • 下载大小: 7,302,308,346字节
  • 数据集总大小: 13,897,358,815字节

配置信息

• 默认配置:
  • 数据文件路径: data/train-*

可用标签

• Input Length: 指令中的字符总数
• Output Length: 响应中的字符总数
• Task Category: 指令的具体类别
• Input Quality: 指令的清晰度、特异性和连贯性，评级为very poor, poor, average, good, excellent
• Input Difficulty: 完成任务所需的知识水平，评级为very easy, easy, medium, hard, very hard
• Minimum Neighbor Distance: 数据集中最近的邻居的嵌入距离，用于过滤重复或相似的实例
• Safety: 由meta-llama/Meta-Llama-Guard-2-8B标记的安全标签
• Reward: 奖励模型给出的特定指令-响应对的输出
• Language: 指令的语言