Aratako/Synthetic-JP-EN-Coding-Dataset-567k

该数据集是一个包含567,077条日英混合代码SFT用合成数据的数据集，其中日语数据173,849条，英语数据393,228条。数据集基于[Aratako/Synthetic-JP-EN-Coding-Dataset-Magpie-69k](https://huggingface.co/datasets/Aratako/Synthetic-JP-EN-Coding-Dataset-Magpie-69k)，使用Evol-Instruct技术生成多个指令和响应进行扩展。创建原始指令的模型包括nvidia/Nemotron-4-340B-Instruct、microsoft/Phi-3-medium-4k-instruct、mistralai/Mixtral-8x22B-Instruct-v0.1和cyberagent/calm3-22b-chat。数据集创建过程中使用了DeepInfra平台，且未进行事后过滤处理，因此可能包含质量较低的记录。

This dataset is a synthetic dataset for code SFT containing 567,077 mixed Japanese and English entries, with 173,849 in Japanese and 393,228 in English. It is based on [Aratako/Synthetic-JP-EN-Coding-Dataset-Magpie-69k](https://huggingface.co/datasets/Aratako/Synthetic-JP-EN-Coding-Dataset-Magpie-69k) and expanded using Evol-Instruct techniques to generate multiple instructions and responses. The models used to create the original instructions include nvidia/Nemotron-4-340B-Instruct, microsoft/Phi-3-medium-4k-instruct, mistralai/Mixtral-8x22B-Instruct-v0.1, and cyberagent/calm3-22b-chat. The dataset was created using the DeepInfra platform and has not undergone post-creation filtering, so it may contain lower quality records.

原始信息汇总

Synthetic-JP-EN-Coding-Dataset-567k

概述

• 数据集名称: Synthetic-JP-EN-Coding-Dataset-567k
• 数据集类型: 合成数据集
• 数据集用途: 代码SFT（Supervised Fine-Tuning）
• 数据集规模: 567,077条记录
• 语言分布:
  • 日本語: 173,849条
  • 英語: 393,228条

数据生成

• 原始数据集: Aratako/Synthetic-JP-EN-Coding-Dataset-Magpie-69k
• 生成方法: 使用Evol-Instruct等技术生成多个instruction和response
• 生成模型:
  • nvidia/Nemotron-4-340B-Instruct
  • microsoft/Phi-3-medium-4k-instruct
  • mistralai/Mixtral-8x22B-Instruct-v0.1
  • cyberagent/calm3-22b-chat
• 额外信息: 包含evol_history和evol_model等生成过程信息

数据质量

• 数据处理: 未进行事后过滤处理
• 注意事项: 可能包含质量较低的记录

数据集来源

• 生成平台: DeepInfra