erhwenkuo/openorca-chinese-zhtw

OpenOrca数据集是一个增强的FLAN Collection数据集合，主要包含GPT-4和GPT-3.5的完成内容，并已翻译成繁体中文。该数据集按照ORCA论文中的分布进行表格化处理，目前代表了完整数据集的部分完成，正在进行生成以扩大其范围。数据主要用于自然语言处理领域的训练和评估。数据集包含超过423万条训练样本，支持多种任务，如语言建模、文本生成和文本增强等。

The OpenOrca dataset is an enhanced FLAN Collection. It mainly contains completion outputs from GPT-4 and GPT-3.5, and has been translated into Traditional Chinese. This dataset is tabulated according to the distribution described in the ORCA paper. Currently, it represents a partially completed version of the full dataset, with ongoing generation work to expand its scope. The dataset is primarily utilized for training and evaluation in the field of natural language processing. It includes over 4.23 million training samples, supporting a variety of tasks such as language modeling, text generation, and text augmentation, among others.

原始信息汇总

数据集概述

数据集信息

• 特征字段:
  • id: 字符串类型，唯一编号标识，包含 niv, t0, cot, 或 flan 以表示来源 FLAN Collection 子集。
  • system_prompt: 字符串类型，向 GPT-3.5 或 GPT-4 API 展示的系统提示。
  • question: 字符串类型，来自 FLAN Collection 的问题条目。
  • response: 字符串类型，通过查询 GPT-3.5 或 GPT-4 获得的回答。
• 数据分割:
  • train: 包含 4233915 条数据，总大小为 6491661288 字节。
• 下载大小: 4106469779 字节
• 数据集大小: 6491661288 字节
• 语言: 中文（繁体）
• 许可证: MIT
• 任务类别:
  • 对话
  • 文本分类
  • 标记分类
  • 表格问答
  • 问答
  • 零样本分类
  • 摘要
  • 特征提取
  • 文本生成
  • 文本到文本生成
• 数据集名称: openorca-chinese-zhtw
• 数据集大小类别: 10M<n<100M

数据集创建

• 创建理由: 为研究人员和开发者提供增强的文本数据源，主要用于提升 FLAN Collection 数据的详细步骤推理能力。
• 源数据: 使用与 Orca 论文中描述的分布一致的技术生成数据，但存在一些差异，如 FLAN Collection 中 CoT 数据不足等。

数据集使用

• 使用案例: 适用于语言理解、自然语言处理、机器学习模型训练和模型性能评估。
• 使用注意事项: 由于数据集仍在进行中，建议定期检查更新和改进，并遵循 Orca 论文中的指南和建议。

引用

• OpenOrca: bibtex @misc{OpenOrca, title = {OpenOrca: An Open Dataset of GPT Augmented FLAN Reasoning Traces}, author = {Wing Lian and Bleys Goodson and Eugene Pentland and Austin Cook and Chanvichet Vong and "Teknium"}, year = {2023}, publisher = {HuggingFace}, journal = {HuggingFace repository}, howpublished = {url{https://https://huggingface.co/Open-Orca}, }

• Orca: bibtex @misc{mukherjee2023orca, title={Orca: Progressive Learning from Complex Explanation Traces of GPT-4}, author={Subhabrata Mukherjee and Arindam Mitra and Ganesh Jawahar and Sahaj Agarwal and Hamid Palangi and Ahmed Awadallah}, year={2023}, eprint={2306.02707}, archivePrefix={arXiv}, primaryClass={cs.CL} }

• FLAN Collection: bibtex @misc{longpre2023flan, title={The Flan Collection: Designing Data and Methods for Effective Instruction Tuning}, author={Shayne Longpre and Le Hou and Tu Vu and Albert Webson and Hyung Won Chung and Yi Tay and Denny Zhou and Quoc V. Le and Barret Zoph and Jason Wei and Adam Roberts}, year={2023}, eprint={2301.13688}, archivePrefix={arXiv}, primaryClass={cs.AI} }

• LLaMA 2: bibtex @misc{touvron2023llama, title={Llama 2: Open Foundation and Fine-Tuned Chat Models}, author={Hugo Touvron and Louis Martin and Kevin Stone and Peter Albert and Amjad Almahairi and Yasmine Babaei and Nikolay Bashlykov and Soumya Batra and Prajjwal Bhargava and Shruti Bhosale and Dan Bikel and Lukas Blecher and Cristian Canton Ferrer and Moya Chen and Guillem Cucurull and David Esiobu and Jude Fernandes and Jeremy Fu and Wenyin Fu and Brian Fuller and Cynthia Gao and Vedanuj Goswami and Naman Goyal and Anthony Hartshorn and Saghar Hosseini and Rui Hou and Hakan Inan and Marcin Kardas and Viktor Kerkez and Madian Khabsa and Isabel Kloumann and Artem Korenev and Punit Singh Koura and Marie-Anne Lachaux and Thibaut Lavril and Jenya Lee and Diana Liskovich and Yinghai Lu and Yuning Mao and Xavier Martinet and Todor Mihaylov and Pushkar Mishra and Igor Molybog and Yixin Nie and Andrew Poulton and Jeremy Reizenstein and Rashi Rungta and Kalyan Saladi and Alan Schelten and Ruan Silva and Eric Michael Smith and Ranjan Subramanian and Xiaoqing Ellen Tan and Binh Tang and Ross Taylor and Adina Williams and Jian Xiang Kuan and Puxin Xu and Zheng Yan and Iliyan Zarov and Yuchen Zhang and Angela Fan and Melanie Kambadur and Sharan Narang and Aurelien Rodriguez and Robert Stojnic and Sergey Edunov and Thomas Scialom}, year={2023}, eprint= arXiv 2307.09288 } @software{touvron2023llama, title={LLaMA: Open and Efficient Foundation Language Models}, author={Touvron, Hugo and Lavril, Thibaut and Izacard, Gautier and Martinet, Xavier and Lachaux, Marie-Anne and Lacroix, Timoth{e}e and Rozi{`e}re, Baptiste and Goyal, Naman and Hambro, Eric and Azhar, Faisal and Rodriguez, Aurelien and Joulin, Armand and Grave, Edouard and Lample, Guillaume}, journal={arXiv preprint arXiv:2302.13971}, year={2023} }

搜集汇总

数据集介绍

构建方式

该数据集源自OpenOrca项目，是对FLAN Collection数据的增强与扩展。构建过程中，研究者将FLAN Collection中的问题提交至GPT-3.5和GPT-4，获取其逐步推理的响应，从而生成包含约100万条GPT-4完成结果和320万条GPT-3.5完成结果的数据集。数据字段包括唯一标识符、系统提示、问题及响应，其中标识符标注了来源子混合（如niv、t0、cot或flan）。原始语言为英文，后通过Google翻译转化为繁体中文，形成面向传统中文使用者的版本。数据集规模庞大，训练集包含约423万条样本，总大小约6.5GB。

特点

该数据集的核心特点在于其增强的推理痕迹，通过大型语言模型的逐步推理能力对FLAN Collection数据进行扩充，显著提升了模型在复杂推理任务上的表现。数据分布遵循ORCA论文的设计，覆盖了多种自然语言处理任务，包括对话、文本分类、问答、摘要及文本生成等。尽管目前数据量略低于原始论文（约150万条），但仍为训练高性能模型提供了丰富资源。值得注意的是，数据集采用MIT许可协议，便于研究者和开发者自由使用，同时支持流式加载以应对大规模存储需求。

使用方法

数据集可通过Hugging Face datasets库直接加载，推荐使用流式模式以处理其庞大体积。用户可基于数据字段中的系统提示、问题和响应进行指令调优或语言模型训练。典型应用场景包括增强模型的推理能力、提升零样本分类性能以及生成式任务。使用时需注意数据集仍在持续更新，建议定期检查最新版本。此外，应遵循ORCA论文中的使用指南，确保数据用于合法且符合伦理的研究目的。加载代码示例为`from datasets import load_dataset; dataset = load_dataset("erhwenkuo/openorca-chinese-zhtw", streaming=True)`。

背景与挑战

背景概述

在自然语言处理领域，指令微调数据的质量与多样性对提升大语言模型推理能力至关重要。OpenOrca-Chinese-ZhTW 数据集由 Wing Lian、Bleys Goodson 等研究人员于2023年创建，其核心研究问题在于如何通过机器翻译将英文的 FLAN 集合数据与 GPT-3.5/GPT-4 生成的推理轨迹有效迁移至繁体中文语境，从而构建高质量的中文指令微调资源。该数据集依托 OpenOrca 项目，包含约 420 万条样本，涵盖对话、文本分类、问答、摘要等多种任务，为中文大语言模型的训练与评估提供了宝贵基础。其影响力体现在推动了多语言环境下复杂推理能力的提升，尤其为参数规模在 100B 以下的模型在硬推理任务上追赶 GPT-3.5 性能提供了数据支撑。

当前挑战

该数据集面临的核心挑战涵盖领域问题与构建过程两个层面。在领域层面，尽管中文指令微调数据需求迫切，但机器翻译引入的语义偏差与语境失真可能削弱模型对中文特有表达与隐含逻辑的理解能力，此外，原始 FLAN 集合中思维链数据不足（仅约 7.5 万条而非预期的 15 万条），限制了模型在零样本推理任务上的泛化表现。在构建层面，数据来源为 FLAN 集合的子集，导致 flan2021 和 t0 子混合分别缺失约 125 万和 20 万条样本，总计约 150 万条数据缺口，使得数据集未能完全复现 Orca 论文的分布；同时，数据集仍在持续扩充中，版本更新与质量一致性维护成为长期挑战。

常用场景

经典使用场景

OpenOrca中文繁体版本数据集是自然语言处理领域中用于指令微调与推理轨迹增强的经典资源。其核心应用场景在于利用GPT-3.5与GPT-4生成的详细推理链，对FLAN集合中的原始数据进行增强，从而训练出具备复杂推理能力的小参数规模语言模型。研究者常借助该数据集进行少样本学习、零样本推理与多任务指令跟随等任务的模型训练与评估，尤其适用于探索如何通过高质量合成数据提升模型在未见任务上的泛化能力。

解决学术问题

该数据集有效解决了小参数模型在复杂推理任务上性能不足的学术难题。传统观点认为，低于100亿参数的语言模型在逻辑推理、数学计算与常识问答等任务上远逊于GPT-3.5等大模型。OpenOrca通过提供大量包含逐步推理轨迹的指令数据，使得LLaMA-13B等模型经过微调后，能够在广泛推理任务上达到甚至超越GPT-3.5的水平，从而挑战了参数规模与推理能力之间的固有假设。

衍生相关工作

该数据集衍生了一系列具有影响力的研究工作，最典型的是OpenOrca团队基于LLaMA模型训练的系列检查点，这些模型在公开基准测试中展现了卓越性能。此外，Orca论文中提出的渐进式学习范式与复杂解释轨迹增强方法，直接启发了后续如WizardLM、Vicuna等指令微调数据集的构建策略。相关研究还探索了将推理轨迹蒸馏至更小模型的技术路径，推动了知识蒸馏与模型压缩领域的进展。