MoritzLaurer/synthetic_zeroshot_mixtral_v0.1

--- license: apache-2.0 dataset_info: - config_name: mixtral_refinedweb_categories features: - name: hypothesis dtype: string - name: text dtype: string - name: labels dtype: int64 - name: category dtype: string splits: - name: train num_bytes: 679252117 num_examples: 739362 download_size: 93960048 dataset_size: 679252117 - config_name: mixtral_refinedweb_characteristics features: - name: hypothesis dtype: string - name: text dtype: string - name: labels dtype: int64 splits: - name: train num_bytes: 508301784 num_examples: 543242 download_size: 76811839 dataset_size: 508301784 - config_name: mixtral_refinedweb_nli features: - name: hypothesis dtype: string - name: text dtype: string - name: labels dtype: int64 - name: hypo_topic dtype: string - name: topic_id dtype: int64 - name: topic_prob dtype: float64 - name: __index_level_0__ dtype: int64 splits: - name: train num_bytes: 99039674 num_examples: 94428 download_size: 60993629 dataset_size: 99039674 - config_name: mixtral_written_texts_for_tasks features: - name: hypothesis dtype: string - name: text dtype: string - name: labels dtype: int64 - name: text_type dtype: string - name: text_style dtype: string - name: profession dtype: string - name: task_description dtype: string - name: task_hypotheses sequence: string splits: - name: train num_bytes: 117675112 num_examples: 105806 download_size: 17224265 dataset_size: 117675112 - config_name: mixtral_written_texts_for_tasks_v2 features: - name: hypothesis dtype: string - name: text dtype: string - name: labels dtype: int64 - name: text_type dtype: string - name: text_style dtype: string - name: profession dtype: string - name: task_description dtype: string - name: task_hypotheses sequence: string splits: - name: train num_bytes: 186470635 num_examples: 156096 download_size: 29446549 dataset_size: 186470635 - config_name: mixtral_written_texts_for_tasks_v3 features: - name: hypothesis dtype: string - name: text dtype: string - name: labels dtype: int64 - name: text_type dtype: string - name: text_style dtype: string - name: profession dtype: string - name: task_description dtype: string - name: task_hypotheses sequence: string - name: prompt_and_tasks_version dtype: string - name: prompt_formatted dtype: string splits: - name: train num_bytes: 1610534901 num_examples: 679516 download_size: 131534115 dataset_size: 1610534901 - config_name: mixtral_written_texts_for_tasks_v4 features: - name: hypothesis dtype: string - name: text dtype: string - name: labels dtype: int64 - name: text_type dtype: string - name: text_style dtype: string - name: profession dtype: string - name: task_description dtype: string - name: task_hypotheses sequence: string - name: prompt_and_tasks_version dtype: string - name: prompt_formatted dtype: string splits: - name: train num_bytes: 726038875 num_examples: 308586 download_size: 68208727 dataset_size: 726038875 configs: - config_name: mixtral_refinedweb_categories data_files: - split: train path: mixtral_refinedweb_categories/train-* - config_name: mixtral_refinedweb_characteristics data_files: - split: train path: mixtral_refinedweb_characteristics/train-* - config_name: mixtral_refinedweb_nli data_files: - split: train path: mixtral_refinedweb_nli/train-* - config_name: mixtral_written_texts_for_tasks data_files: - split: train path: mixtral_written_texts_for_tasks/train-* - config_name: mixtral_written_texts_for_tasks_v2 data_files: - split: train path: mixtral_written_texts_for_tasks_v2/train-* - config_name: mixtral_written_texts_for_tasks_v3 data_files: - split: train path: mixtral_written_texts_for_tasks_v3/train-* - config_name: mixtral_written_texts_for_tasks_v4 data_files: - split: train path: mixtral_written_texts_for_tasks_v4/train-* ---The dataset includes multiple configurations, each with different features and data files. The main features include hypothesis, text, labels, etc. The dataset is divided into multiple versions, each with a training set (train), and provides data size and download size.

原始信息汇总

数据集概述

数据集配置

1. mixtral_refinedweb_categories

• 特征:
  • hypothesis: 字符串
  • text: 字符串
  • labels: 64位整数
  • category: 字符串
• 分割:
  • train:
    • 字节数: 679252117
    • 样本数: 739362
• 下载大小: 93960048
• 数据集大小: 679252117

2. mixtral_refinedweb_characteristics

• 特征:
  • hypothesis: 字符串
  • text: 字符串
  • labels: 64位整数
• 分割:
  • train:
    • 字节数: 508301784
    • 样本数: 543242
• 下载大小: 76811839
• 数据集大小: 508301784

3. mixtral_refinedweb_nli

• 特征:
  • hypothesis: 字符串
  • text: 字符串
  • labels: 64位整数
  • hypo_topic: 字符串
  • topic_id: 64位整数
  • topic_prob: 64位浮点数
  • __index_level_0__: 64位整数
• 分割:
  • train:
    • 字节数: 99039674
    • 样本数: 94428
• 下载大小: 60993629
• 数据集大小: 99039674

4. mixtral_written_texts_for_tasks

• 特征:
  • hypothesis: 字符串
  • text: 字符串
  • labels: 64位整数
  • text_type: 字符串
  • text_style: 字符串
  • profession: 字符串
  • task_description: 字符串
  • task_hypotheses: 序列字符串
• 分割:
  • train:
    • 字节数: 117675112
    • 样本数: 105806
• 下载大小: 17224265
• 数据集大小: 117675112

5. mixtral_written_texts_for_tasks_v2

• 特征:
  • hypothesis: 字符串
  • text: 字符串
  • labels: 64位整数
  • text_type: 字符串
  • text_style: 字符串
  • profession: 字符串
  • task_description: 字符串
  • task_hypotheses: 序列字符串
• 分割:
  • train:
    • 字节数: 186470635
    • 样本数: 156096
• 下载大小: 29446549
• 数据集大小: 186470635

6. mixtral_written_texts_for_tasks_v3

• 特征:
  • hypothesis: 字符串
  • text: 字符串
  • labels: 64位整数
  • text_type: 字符串
  • text_style: 字符串
  • profession: 字符串
  • task_description: 字符串
  • task_hypotheses: 序列字符串
  • prompt_and_tasks_version: 字符串
  • prompt_formatted: 字符串
• 分割:
  • train:
    • 字节数: 1610534901
    • 样本数: 679516
• 下载大小: 131534115
• 数据集大小: 1610534901

7. mixtral_written_texts_for_tasks_v4

• 特征:
  • hypothesis: 字符串
  • text: 字符串
  • labels: 64位整数
  • text_type: 字符串
  • text_style: 字符串
  • profession: 字符串
  • task_description: 字符串
  • task_hypotheses: 序列字符串
  • prompt_and_tasks_version: 字符串
  • prompt_formatted: 字符串
• 分割:
  • train:
    • 字节数: 726038875
    • 样本数: 308586
• 下载大小: 68208727
• 数据集大小: 726038875

数据文件路径

• mixtral_refinedweb_categories:
  • train: mixtral_refinedweb_categories/train-*
• mixtral_refinedweb_characteristics:
  • train: mixtral_refinedweb_characteristics/train-*
• mixtral_refinedweb_nli:
  • train: mixtral_refinedweb_nli/train-*
• mixtral_written_texts_for_tasks:
  • train: mixtral_written_texts_for_tasks/train-*
• mixtral_written_texts_for_tasks_v2:
  • train: mixtral_written_texts_for_tasks_v2/train-*
• mixtral_written_texts_for_tasks_v3:
  • train: mixtral_written_texts_for_tasks_v3/train-*
• mixtral_written_texts_for_tasks_v4:
  • train: mixtral_written_texts_for_tasks_v4/train-*

搜集汇总

数据集介绍

构建方式

该数据集由Mixtral模型通过零样本（zero-shot）方式合成生成，旨在为自然语言推理（NLI）任务提供多样化的训练样本。数据集的构建基于RefinedWeb语料库与人工撰写文本两大来源。其中，mixtral_refinedweb系列子集从大规模网络文本中提取内容，并利用Mixtral模型自动生成假设（hypothesis）与标签（labels），涵盖类别、特征及NLI关系等维度；而mixtral_written_texts_for_tasks系列子集则围绕不同文本类型、风格、职业背景及任务描述，由模型生成对应的假设序列。所有子集均以Apache-2.0许可证发布，仅包含训练集拆分，总计超过260万条样本。

特点

数据集最显著的特点在于其完全由合成数据构成，避免了人工标注的高昂成本，同时通过多子集设计覆盖了广泛的任务场景。mixtral_refinedweb系列侧重于从真实网络文本中提炼推理关系，而mixtral_written_texts_for_tasks系列则引入了文本类型、风格、职业等结构化元数据，增强了数据的可控性与多样性。此外，从v1到v4的迭代版本逐步增加了prompt格式化信息与任务版本标识，反映了数据集在提示工程与任务泛化能力上的持续优化。各子集规模从约9.4万到67.9万样本不等，为不同复杂度需求的模型训练提供了灵活选择。

使用方法

数据集可通过HuggingFace Datasets库直接加载，用户需指定配置名称（config_name）以选取特定子集，例如使用'mixtral_refinedweb_nli'进行NLI模型微调。每个样本包含'text'（前提文本）、'hypothesis'（假设）、'labels'（关系标签，0/1/2对应蕴含/中立/矛盾）等核心字段。对于mixtral_written_texts_for_tasks系列，还可利用'task_description'与'task_hypotheses'字段进行多任务学习或指令微调。数据已预分为训练集，可直接用于PyTorch或TensorFlow训练流程，无需额外预处理。

背景与挑战

背景概述

在自然语言处理领域，零样本学习与推理能力是衡量大语言模型泛化性能的关键指标。MoritzLaurer等人于2023年构建的synthetic_zeroshot_mixtral_v0.1数据集，旨在通过合成数据策略驱动模型掌握未见过任务的分类与推理能力。该数据集由多个子集构成，包括基于RefinedWeb语料库的类别与属性标注、自然语言推理样本，以及模拟多样化写作场景的任务文本，覆盖了从主题识别到风格迁移的广泛需求。其核心研究问题在于如何利用Mixtral等混合专家模型生成的高质量合成数据，弥补真实标注数据的匮乏，从而推动零样本学习在现实场景中的落地。该数据集的出现为探索合成数据在提升模型语义理解与任务适应性方面的潜力提供了重要基准，对后续基于大语言模型的零样本推理研究产生了显著影响。

当前挑战

该数据集所解决的领域问题在于零样本学习中对未见类别的精准推断，这一任务要求模型具备从有限先验知识中抽象出通用规则的能力，而传统监督学习范式在此场景下表现乏力。构建过程中面临的核心挑战包括：合成数据的真实性与多样性平衡，即如何确保Mixtral生成的假设与文本对既覆盖广泛语义空间，又避免引入噪声或虚假关联；子集间标注粒度的一致性，例如在mixtral_refinedweb_categories与mixtral_written_texts_for_tasks中，需统一类别、风格及职业等属性的定义标准；以及大规模数据生成的计算成本与质量控制，尤其涉及v2至v4版本迭代时，需反复验证提示模板和任务描述对样本质量的潜在影响。

常用场景

经典使用场景

该数据集最经典的使用场景在于零样本自然语言推理（Zero-shot NLI）任务的训练与评估。依托Mixtral大语言模型生成的合成数据，研究者能够为文本与假设之间的蕴含、矛盾或中立关系构建大规模标注样本。数据集中包含了从RefinedWeb语料中提取的多样化文本片段，覆盖不同主题与风格，使得模型在未见过的类别上也能进行有效推理，极大拓展了NLI任务在开放领域中的应用边界。

实际应用

在实际应用中，该数据集可被用于构建智能客服系统中的意图识别与情感分析模块，帮助系统在未见过的用户表达上准确判断语义关系。此外，在内容审核、信息检索和自动摘要生成等场景中，基于该数据集训练的模型能够高效判断文本之间的逻辑一致性或矛盾，从而提升自动化决策的可靠性。其合成数据特性也降低了企业部署大语言模型时的隐私风险，因为数据不直接来源于真实用户。

衍生相关工作

该数据集衍生出多项经典研究工作，包括基于Mixtral模型的合成数据生成方法论探索，以及零样本NLI任务中提示工程（Prompt Engineering）的优化。后续研究者利用该数据集验证了不同大语言模型在零样本场景下的推理一致性，并开发了针对多标签分类和细粒度情感分析的新基准。此外，数据集中多个配置版本（如v3、v4）的迭代，催生了关于合成数据质量评估与噪声控制的研究，为生成式AI在数据增强领域的应用提供了重要参考。