Magpie-Align/Magpie-DPO-100K-SML

--- dataset_info: features: - name: uuid dtype: string - name: instruction dtype: string - name: gen_input_configs struct: - name: temperature dtype: float64 - name: top_p dtype: float64 - name: response_8b_instruct dtype: string - name: response_8b_instruct_reward dtype: float64 - name: response_8b_instruct_generator dtype: string - name: response_8b_base dtype: string - name: response_8b_base_reward dtype: float64 - name: response_8b_base_generator dtype: string - name: response_70b_instruct dtype: string - name: response_70b_instruct_reward dtype: float64 - name: response_70b_instruct_generator dtype: string - name: response_405b_instruct dtype: string - name: response_405b_instruct_reward dtype: float64 - name: response_405b_instruct_generator dtype: string - name: reward_model dtype: string - name: intent dtype: string - name: knowledge dtype: string - name: difficulty dtype: string - name: input_quality dtype: string - name: quality_explanation dtype: string - name: task_category dtype: string - name: llama_guard_2 dtype: string - name: input_length dtype: int64 - name: output_length dtype: int64 - name: chosen list: - name: content dtype: string - name: role dtype: string - name: rejected list: - name: content dtype: string - name: role dtype: string - name: all_rm_scores sequence: float64 splits: - name: train num_bytes: 1229252031.4853094 num_examples: 80884 - name: test num_bytes: 25091428.51469074 num_examples: 1651 download_size: 667283880 dataset_size: 1254343460.0 configs: - config_name: default data_files: - split: train path: data/train-* - split: test path: data/test-* --- This dataset is still under internal assessment. Please use it with caution! To create this dataset, we first generate responses from the base model using URIAL as rejected. Then, we generate responses from 8B, 70B, and 405B models, and take the instruction-response pair with the highest reward as chosen. ### Other Magpie DPO Datasets We observed that the following DPO datasets may have better performance after we burned a lot of GPU hours :) |Model Name | Dataset | Type | Description | |-------------|:-------|:-------|:-------| | [Llama 3 8B Instruct](https://huggingface.co/meta-llama/Meta-Llama-3-8B-Instruct) | [Magpie-Air-DPO-100K](https://huggingface.co/datasets/Magpie-Align/Magpie-Air-DPO-100K-v0.1) | DPO | DPO dataset via Best-of-N sampling and rewards. | [Llama 3 70B Instruct](https://huggingface.co/meta-llama/Meta-Llama-3-70B-Instruct) | [Magpie-Pro-DPO-100K](https://huggingface.co/datasets/Magpie-Align/Magpie-Pro-DPO-100K-v0.1) | DPO | DPO dataset via Best-of-N sampling and rewards. | [Llama 3.1 70B Instruct](https://huggingface.co/meta-llama/Meta-Llama-3.1-70B-Instruct) | [Magpie-Llama-3.1-Pro-DPO-100K](https://huggingface.co/datasets/Magpie-Align/Magpie-Llama-3.1-Pro-DPO-100K-v0.1) | DPO | DPO dataset via Best-of-N sampling and rewards.数据集信息： 特征字段（features）如下： 1. uuid：字符串类型 2. instruction：字符串类型，即指令文本 3. gen_input_configs：结构体类型，包含子字段： - temperature：float64，生成采样温度参数 - top_p：float64，生成采样核参数 4. response_8b_instruct：字符串类型，8B规模指令微调模型的输出响应 5. response_8b_instruct_reward：float64，8B规模指令微调模型响应的奖励得分 6. response_8b_instruct_generator：字符串类型，8B规模指令微调模型的生成器标识 7. response_8b_base：字符串类型，8B规模基础模型的输出响应 8. response_8b_base_reward：float64，8B规模基础模型响应的奖励得分 9. response_8b_base_generator：字符串类型，8B规模基础模型的生成器标识 10. response_70b_instruct：字符串类型，70B规模指令微调模型的输出响应 11. response_70b_instruct_reward：float64，70B规模指令微调模型响应的奖励得分 12. response_70b_instruct_generator：字符串类型，70B规模指令微调模型的生成器标识 13. response_405b_instruct：字符串类型，405B规模指令微调模型的输出响应 14. response_405b_instruct_reward：float64，405B规模指令微调模型响应的奖励得分 15. response_405b_instruct_generator：字符串类型，405B规模指令微调模型的生成器标识 16. reward_model：字符串类型，所使用的奖励模型标识 17. intent：字符串类型，指令对应的任务意图 18. knowledge：字符串类型，指令涉及的知识范畴 19. difficulty：字符串类型，任务难度等级 20. input_quality：字符串类型，输入文本的质量评级 21. quality_explanation：字符串类型，输入质量的说明文本 22. task_category：字符串类型，任务所属类别 23. llama_guard_2：字符串类型，Llama Guard 2的检测结果 24. input_length：int64，输入文本的Token长度 25. output_length：int64，输出响应的Token长度 26. chosen：列表类型，存储正例样本，包含子字段： - content：字符串类型，对话内容 - role：字符串类型，对话角色 27. rejected：列表类型，存储负例样本，包含子字段： - content：字符串类型，对话内容 - role：字符串类型，对话角色 28. all_rm_scores：float64序列，该样本对应的所有奖励模型得分 数据集划分（splits）如下： - 训练集（train）：数据字节大小1229252031.4853094，样本总量80884 - 测试集（test）：数据字节大小25091428.51469074，样本总量1651 整体数据集下载大小为667283880字节，总数据大小为1254343460.0字节。 数据集配置（configs）： - 配置名称为default，数据文件路径如下： - 训练集对应data/train-* - 测试集对应data/test-* 本数据集仍处于内部评估阶段，请谨慎使用！ ### 数据集构建流程 我们首先以URIAL作为负样本生成源，基于基础模型生成响应作为负例（rejected）；随后分别基于8B、70B及405B规模的大语言模型生成响应，并选取奖励分值最高的指令-响应对作为正例（chosen）。 ### 其他Magpie系列DPO数据集 我们通过耗费大量GPU计算时长后发现，以下直接偏好优化（Direct Preference Optimization，DPO）数据集可能具备更优的模型训练性能： | 模型名称 | 数据集 | 类型 | 描述 | |---------|--------|------|------| | [Llama 3 8B Instruct](https://huggingface.co/meta-llama/Meta-Llama-3-8B-Instruct) | [Magpie-Air-DPO-100K](https://huggingface.co/datasets/Magpie-Align/Magpie-Air-DPO-100K-v0.1) | DPO | 基于最优N次采样（Best-of-N sampling）与奖励机制构建的DPO数据集。 | [Llama 3 70B Instruct](https://huggingface.co/meta-llama/Meta-Llama-3-70B-Instruct) | [Magpie-Pro-DPO-100K](https://huggingface.co/datasets/Magpie-Align/Magpie-Pro-DPO-100K-v0.1) | DPO | 基于最优N次采样与奖励机制构建的DPO数据集。 | [Llama 3.1 70B Instruct](https://huggingface.co/meta-llama/Meta-Llama-3.1-70B-Instruct) | [Magpie-Llama-3.1-Pro-DPO-100K](https://huggingface.co/datasets/Magpie-Align/Magpie-Llama-3.1-Pro-DPO-100K-v0.1) | DPO | 基于最优N次采样与奖励机制构建的DPO数据集。