mlabonne/WizardLM_evol_instruct_70k-ShareGPT

---
dataset_info:
features:
- name: conversations
list:
- name: from
dtype: string
- name: value
dtype: string
splits:
- name: train
num_bytes: 132300545
num_examples: 70000
download_size: 63710763
dataset_size: 132300545
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
---

数据集信息：
特征：
- 名称：conversations（对话），类型为列表，列表内包含两个字段：
- 字段名：from，数据类型：字符串
- 字段名：value，数据类型：字符串
数据集划分：
- 名称：train（训练集），占用字节数：132300545，样本总数：70000
下载大小：63710763
数据集总大小：132300545
配置项：
- 配置名称：default（默认配置），数据文件：
- 对应数据集划分train（训练集），文件路径：data/train-*

原始信息汇总

数据集概述

数据集特征

• 名称: conversations
  • 字段:
    • from: 数据类型为字符串
    • value: 数据类型为字符串

数据集分割

• 训练集:
  • 大小: 132300545 字节
  • 示例数量: 70000

数据集下载与大小

• 下载大小: 63710763 字节
• 数据集大小: 132300545 字节

配置

• 默认配置:
  • 数据文件路径:
    • 分割: train
    • 路径: data/train-*

搜集汇总

数据集介绍

构建方式

该数据集源自WizardLM的进化指令生成技术，通过迭代式的指令演化策略，从种子指令集合中自动生成多样化、高复杂度的指令-回答对。原始数据经过ShareGPT格式的标准化处理，保留了对话结构中的角色标识（from字段）与文本内容（value字段），最终筛选出70,000条高质量训练样本，形成单训练集划分。

特点

数据集以对话形式组织，每条样本包含多轮交互的对话历史，其中指令与回答通过from字段区分角色（如用户或助手）。70k规模的精心筛选确保了指令多样性与回答质量的平衡，既覆盖广泛领域又保持逻辑连贯性，特别适用于大语言模型的指令微调与对齐优化。

使用方法

用户可通过HuggingFace Datasets库直接加载，使用load_dataset('mlabonne/WizardLM_evol_instruct_70k-ShareGPT')即可获取默认的train分片。数据以parquet格式存储，支持流式读取以降低内存占用。典型应用场景包括作为监督微调（SFT）的输入，对话结构可直接用于构建多轮交互的训练模板。

背景与挑战

背景概述

在大型语言模型（LLM）的快速发展浪潮中，高质量指令微调数据集对于提升模型遵循人类意图的能力至关重要。mlabonne/WizardLM_evol_instruct_70k-ShareGPT数据集由机器学习社区研究者mlabonne基于WizardLM的进化指令生成方法构建，发布于2023年，旨在提供70,000条多轮对话样本。该数据集通过自动演化策略从种子指令中衍生出复杂多样的问答对，并整合了ShareGPT平台中真实的用户-助手交互数据，以增强对话的自然性与覆盖面。其核心研究问题在于如何通过规模适中的高质量数据，使开源LLM在指令遵循、推理能力和对话流畅性上逼近闭源模型。该数据集已成为微调Llama、Mistral等系列模型的主流选择，对推动开源LLM的实用化部署产生了显著影响。

当前挑战

该数据集面临的挑战首先体现在领域问题层面：尽管进化指令生成能产出复杂任务，但自动演化过程可能引入逻辑不一致或语义偏差，导致模型在真实场景中产生幻觉或错误推理。此外，ShareGPT数据虽包含丰富的人类偏好，但用户生成内容存在噪声、重复及潜在有害信息，需精细过滤。在构建过程中，挑战尤为突出：70,000条样本需平衡多样性（避免主题稀疏）与质量（确保指令清晰、答案准确），而进化策略的迭代计算成本高昂，且缺乏客观指标评估生成指令的难度递增是否合理。同时，数据集的规模相对有限，难以覆盖长尾知识或专业领域，限制了模型在垂直场景的泛化能力。

常用场景

经典使用场景

WizardLM_evol_instruct_70k-ShareGPT数据集的核心应用在于对大型语言模型进行指令微调（Instruction Tuning）。该数据集包含了70,000条由WizardLM进化算法自动生成的高质量多轮对话指令数据，每条数据均以ShareGPT格式组织，模拟了真实的人机交互场景。研究者通常将其作为训练数据，用于增强模型遵循复杂指令、执行多轮对话以及生成细致回答的能力。例如，基于此数据集对Llama、Mistral等基础模型进行监督微调，可显著提升其在AlpacaEval、MT-Bench等基准上的表现，成为构建高性能对话助手的关键资源。

衍生相关工作

该数据集衍生了一系列经典工作，包括WizardLM系列模型的持续改进以及Evol-Instruct方法的扩展应用。研究者基于此数据开发了WizardCoder和WizardMath等专用模型，分别聚焦于代码生成与数学推理任务。此外，它启发了诸如Deita、LIMA等数据筛选与质量评估研究，推动了“少而精”的指令数据理念。这些衍生工作共同验证了自动进化指令在提升模型能力上的普适性，形成了从数据生成到模型优化的完整研究脉络。

数据集最近研究

最新研究方向

WizardLM_evol_instruct_70k-ShareGPT数据集作为高质量指令微调数据的代表，当前研究聚焦于利用进化算法与共享对话生成技术，构建大规模、多样化的指令-回复对，以提升大语言模型在复杂任务中的对齐能力。该数据集源自WizardLM的进化指令方法，通过自动迭代生成难度递增的指令，并结合ShareGPT社区的真实对话数据，有效缓解了传统人工标注的局限。前沿方向包括：探索指令复杂度与模型泛化性能的关联机制，以及利用该数据集进行多轮对话系统的强化学习训练，推动模型在开放式推理与知识密集型场景下的表现突破。其在开源社区的广泛应用，为LLM的可控生成与安全性研究提供了关键基准，加速了人机交互范式的革新。