orca-agentinstruct-1M-v1-cleaned

# 🐋 Orca-AgentInstruct-1M-v1-cleaned

This is a cleaned version of the [microsoft/orca-agentinstruct-1M-v1](https://huggingface.co/datasets/microsoft/orca-agentinstruct-1M-v1) dataset released by Microsoft.

> orca-agentinstruct-1M-v1 is a fully synthetic dataset using only raw text publicly available on the web as seed data. It is a subset of the full AgentInstruct dataset (~25M samples) that created Orca-3-Mistral. Compared to Mistral 7B Instruct, the authors claim 40% improvement on AGIEval, 19% improvement on MMLU, 54% improvement on GSM8K, 38% improvement on BBH and 45% improvement on AlpacaEval.

Here's what I changed:

1. Splits are unified into one, with a new "split" column
2. Strings were converted into lists of dicts to ensure compatibility with most frameworks
3. Empty system prompts were removed so you don't get weird errors

Data categories in the dataset:

- creative_content
- text_modification
- struct2text_flow
- rc
- rag
- text_extraction
- mcq
- follow_up
- analytical_reasoning
- fermi
- fs_cot_flow
- code_
- brain_teaser
- text_classification
- open_domain_q

# 🐋 Orca-AgentInstruct-1M-v1-cleaned

本数据集为微软（Microsoft）发布的[microsoft/orca-agentinstruct-1M-v1](https://huggingface.co/datasets/microsoft/orca-agentinstruct-1M-v1)数据集的清洗版本。

> orca-agentinstruct-1M-v1是一个全合成数据集，仅以互联网公开的原始文本作为种子数据。它是用于构建Orca-3-Mistral的完整AgentInstruct数据集（约2500万样本）的子集。相较于Mistral 7B Instruct，作者宣称该数据集可在AGIEval上实现40%的性能提升、MMLU上提升19%、GSM8K上提升54%、BBH上提升38%，以及AlpacaEval上提升45%。

本次清洗所做的调整如下：
1. 将所有数据划分统一为单一划分，并新增"split"列
2. 将字符串格式转换为字典列表格式，以兼容绝大多数主流框架
3. 移除了空系统提示词，以避免出现异常运行错误

数据集包含以下数据类别：
- 创意内容（creative_content）
- 文本修改（text_modification）
- 结构化转文本流程（struct2text_flow）
- 阅读理解（Reading Comprehension, RC）
- 检索增强生成（Retrieval-Augmented Generation, RAG）
- 文本抽取（text_extraction）
- 多项选择题（Multiple Choice Question, MCQ）
- 后续交互（follow_up）
- 分析推理（analytical_reasoning）
- 费米问题（fermi）
- 少样本思维链流程（Few-Shot Chain-of-Thought Flow, fs_cot_flow）
- 代码生成（code_）
- 脑筋急转弯（brain_teaser）
- 文本分类（text_classification）
- 开放域问答（open_domain_q）

搜集汇总

背景与挑战

背景概述

orca-agentinstruct-1M-v1-cleaned是Microsoft原始数据集的清理版本，它是一个全合成的数据集，基于网络公开文本生成，作为AgentInstruct数据集的子集用于模型训练。该版本进行了统一分割、格式转换和空提示移除等优化，包含多种数据类别如创意内容、文本修改和代码等。