philschmid/slimorca-dedup-chatml-100k

SlimOrca Dedup是一个去重且未经过滤的SlimOrca数据集子集，排除了RLHF实例，包含363k个独特示例。该数据集的关键特性包括移除RLHF实例和使用minhash和Jaccard相似性技术进行去重。数据集采用基本的sharegpt格式，包含系统、人类和GPT三种消息角色，分别用于提供指令、提出查询和生成响应。

原始信息汇总

SlimOrca Dedup 数据集概述

基本信息

• 许可证: MIT
• 任务类别:
  • 文本分类
  • 问答
  • 文本生成
• 标签:
  • 代码
  • 艺术
  • 音乐
  • 法律
  • 金融
  • 生物学
  • 化学
• 数据集名称: SlimOrca Dedup
• 数据集大小: 100K<n<1M

数据集描述

"SlimOrca Dedup" 是一个去重且未经筛选的 SlimOrca 数据集子集，排除了 RLHF 实例，包含 363k 个唯一示例。

关键特性

• 移除 RLHF 实例。
• 使用 minhash 和 Jaccard 相似性技术进行去重。

数据集格式

基本结构

数据集使用基本的 sharegpt 格式。示例和模式解释如下： json { "conversations": [ {"from": "system", "value": "You are an AI assistant..."}, {"from": "human", "value": "Write an article based on this..."}, {"from": "gpt", "value": "Title: Tragedy Strikes in Sydney..."} ] }

消息格式

• "from": 字符串，指示消息的发送者。可能的发送者有 "system"、"human" 和 "gpt"。
• "value": 字符串，包含发送者的消息或指令。

消息角色

• System: 系统提供任务的指令或指南给大型语言模型（LLM）。
• Human: 人类提供 AI 模型响应的提示或查询。
• GPT: 语言模型，根据人类提供的提示或查询生成响应或内容。此角色的消息仅在人类角色的消息之后出现。

引用

bibtex @misc{SlimOrcaDedup, title = {SlimOrca Dedup: A Deduplicated Subset of SlimOrca}, author = {Wing Lian and Guan Wang and Bleys Goodson and Eugene Pentland and Austin Cook and Chanvichet Vong and "Teknium" and Nathan Hoos}, year = {2023}, publisher = {HuggingFace}, url = {https://huggingface.co/datasets/Open-Orca/SlimOrca-Dedup/} }

搜集汇总

数据集介绍

构建方式

在大型语言模型微调数据集的构建中，数据质量与多样性至关重要。SlimOrca-Dedup 数据集源自 Open-Orca 团队发布的 SlimOrca 原始集合，经过精细的筛选与去重处理而成。构建过程首先剔除了所有包含强化学习人类反馈（RLHF）的实例，以保持指令微调数据的纯净性。随后，采用 MinHash 与 Jaccard 相似度技术对剩余样本进行去重，最终从原始的 363k 条独特对话中随机下采样至 100k 条，形成了该精简版本。数据集以 ChatML 格式存储，每条记录包含系统、人类与 GPT 三方的对话轮次，结构清晰且便于模型直接使用。

特点

该数据集的核心优势在于其高度去重与聚焦指令微调的特性。通过 MinHash 与 Jaccard 相似度技术，消除了冗余样本，确保每条对话在语义上具有独特性，从而提升模型训练的泛化能力。移除 RLHF 实例后，数据集专注于纯指令跟随任务，避免了偏好对齐带来的噪声干扰。此外，下采样至 100k 条使得数据集轻量且高效，适合快速迭代与资源受限的场景。覆盖领域广泛，涵盖代码、艺术、音乐、法律、金融、生物学与化学等，为多领域指令微调提供了均衡的语料基础。

使用方法

使用该数据集进行模型微调时，可直接将其加载为 HuggingFace Datasets 格式，无需额外预处理。每条样本包含 'conversations' 字段，其中按顺序存储了系统指令（system）、用户提问（human）与模型回答（gpt）的对话轮次。在训练过程中，建议将系统消息作为初始上下文，随后交替输入人类与 GPT 消息以构建完整的对话序列。适用于文本生成、问答与分类等任务，可基于标准语言模型训练框架（如 Transformers 库）直接调用。参考已发布的演示模型（如 Jackalope-7B 与 Mistral-7B-SlimOrca），该数据集在指令跟随与多领域任务中表现优异。

背景与挑战

背景概述

在大规模语言模型（LLM）指令微调领域，数据质量与多样性是决定模型泛化能力与鲁棒性的关键因素。SlimOrca-Dedup-ChatML-100k数据集由Wing Lian、Guan Wang等研究人员于2023年创建，源自Open-Orca团队发布的SlimOrca-Dedup数据集，后者是SlimOrca经过去重处理后的子集，剔除了RLHF实例，保留了约36.3万个独特样本。该数据集的核心研究问题在于如何通过高效的指令微调数据构建，提升语言模型在多任务场景下的表现，涵盖代码、艺术、法律、金融、生物、化学等广泛领域。作为精简版数据，它被设计为ChatML格式，并下采样至10万条，便于研究者快速验证指令微调方法，对推动开源语言模型的实用化与可复现研究具有重要影响力。

当前挑战

当前数据集面临的主要挑战体现在领域问题与构建过程两个层面。在领域问题层面，尽管数据覆盖多领域，但指令微调数据中仍存在噪声与冗余，可能影响模型对复杂指令的理解与生成质量，尤其在高精度任务如法律与金融领域，错误指令可能引发严重偏差。在构建过程中，挑战尤为突出：一是去重技术依赖MinHash与Jaccard相似度，难以完全消除语义近似的重复样本，导致模型泛化能力受限；二是从原始36.3万条下采样至10万条时，需平衡领域代表性，避免关键知识缺失；三是ChatML格式的转换需确保系统、人类与GPT角色的一致性，人工验证成本高昂，增加了数据维护的复杂性。

常用场景

经典使用场景

SlimOrca-Dedup-ChatML-100k数据集作为大规模指令微调语料库的精炼版本，广泛用于训练和评估大语言模型的对话生成与指令遵循能力。其核心价值在于提供了经过去重处理的10万条高质量多轮对话样本，涵盖代码、艺术、法律、金融、生物学和化学等多元领域，为研究者构建具备通用对话能力的语言模型提供了可靠的数据基石。研究者常利用该数据集进行监督式微调（SFT），通过系统指令、用户查询与模型回复的三元组结构，使模型学会在不同专业场景下精准理解指令并生成连贯、有用的回复。

实际应用

在实际应用中，SlimOrca-Dedup-ChatML-100k被广泛用于开发面向垂直领域的智能对话系统，如金融咨询助手、法律文档生成工具和生物医学知识问答平台。其覆盖多领域、多任务的对话样本使模型能够快速适应专业场景，生成符合行业规范的回复。此外，该数据集还被用于构建教育辅导助手和创意写作辅助工具，通过精细化的指令调优，提升模型在复杂推理与创造性内容生成方面的表现，显著降低了从零开始收集和清洗大规模对话数据的成本。

衍生相关工作

该数据集衍生了一系列经典工作，包括基于其训练的Jackalope-7B和Mistral-7B-SlimOrca等开源模型，这些模型在多项基准测试中展现了优异的指令遵循能力。研究者还基于该数据集探索了数据去重策略对模型性能的影响，推动了如Dolly、Alpaca等指令微调数据集的优化设计。此外，SlimOrca-Dedup-ChatML-100k成为评估数据压缩与蒸馏技术效果的常用基准，催生了关于高效微调数据构建的新范式，对后续如OpenOrca系列数据集的迭代与扩展产生了深远影响。