erhwenkuo/firefly-train-chinese-zhtw

本数据集主要用于训练中文对话式大语言模型Firefly，包含了115万条数据，涵盖了23个常见的中文数据集。每个数据样本包含三个字段：kind（任务类别）、input（任务输入）和target（任务目标）。数据集通过人工书写的指令模板来保证数据的高质量和丰富度，适用于文本生成任务。

This dataset is primarily used for the Firefly (Liuying): Chinese conversational large language model project, which collects 23 common Chinese datasets and ensures high quality and richness of data through manually written instruction templates. The dataset contains approximately 1.15 million entries, mainly for text generation tasks. The dataset has been processed for simplified-traditional conversion and uploaded to the Huggingface Hub. The dataset structure includes three fields: task category, task input, and task input target.

原始信息汇总

数据集卡片 "firefly-train-chinese-zhtw"

数据集摘要

本数据集主要应用于项目：Firefly（流螢）: 中文对话式大语言模型，经过训练后得到的模型 firefly-1b4。

Firefly（流螢）: 中文对话式大语言模型 项目收集了 23 个常见的中文数据集，并且对于每种不同的 NLP 任务，由人工书写若干种指令模板来保证数据的高品质与丰富度。

数据量为 115 万。数据分布如下：

训练数据集的 token 长度分布如下，绝大部分数据的长度都小于 600：

原始数据来源：

• YeungNLP/firefly-train-1.1M
• Firefly(流萤): 中文对话式大语言模型

数据下载清理

1. 下载 chinese-poetry: 最全中文诗歌古典文集数据库 的 Repo
2. 使用 OpenCC 来进行简繁转换
3. 使用 Huggingface Datasets 来上传至 Huggingface Hub

数据集结构

json { "kind": "ClassicalChinese", "input": "將下面句子翻譯成現代文： 石中央又生一樹，高百餘尺，條幹偃陰為五色，翠葉如盤，花徑尺餘，色深碧，蕊深紅，異香成煙，著物霏霏。", "target": "大石的中央长着一棵树，一百多尺高，枝干是彩色的，树叶有盘子那样大，花的直径有一尺宽，花瓣深蓝色，花中飘出奇异的香气笼罩着周围，如烟似雾。" }

数据字段

• kind: (string) 任务类别
• input: (string) 任务输入
• target: (string) 任务输入目标

如何使用

python from datasets import load_dataset

dataset = load_dataset("erhwenkuo/firefly-train-chinese-zhtw", split="train")

许可信息

数据来源未定义许可信息

引用

@misc{Firefly, author = {Jianxin Yang}, title = {Firefly(流萤): 中文对话式大语言模型}, year = {2023}, publisher = {GitHub}, journal = {GitHub repository}, howpublished = {url{https://github.com/yangjianxin1/Firefly}}, }

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，高质量的中文指令数据集对于对话式大语言模型的微调至关重要。该数据集源于Firefly项目，整合了23个常见中文数据集，并针对不同NLP任务人工设计了多样化的指令模板，以确保数据的丰富性与品质。原始数据来自YeungNLP/firefly-train-1.1M及Firefly项目，随后经过一系列精心处理：首先下载中文诗歌古典文集数据库，接着利用OpenCC工具完成繁简转换，最终借助Huggingface Datasets库上传至Hub，构建出包含约164.9万条样本的指令微调数据集。

特点

该数据集以文本生成为核心任务，语言为中文，规模介于100万至1000万条之间。其结构简洁而高效，每条数据包含三个字段：kind（任务类别）、input（任务输入）和target（任务输出目标），例如将古典中文句子翻译为现代文。数据分布呈现显著的多样性，涵盖多种NLP任务，且绝大部分训练样本的token长度小于600，利于模型高效训练。这种精心设计的格式与分布特性，使其成为中文对话模型微调的优质资源。

使用方法

使用该数据集极为便捷，研究人员可通过Huggingface的datasets库直接加载。只需调用load_dataset函数，指定数据集名称"erhwenkuo/firefly-train-chinese-zhtw"并选择split为"train"，即可获取完整的训练数据。加载后的数据集以字典形式呈现，用户可轻松访问kind、input和target字段，用于模型的指令微调或评估。这一标准化接口降低了使用门槛，便于集成到各类中文自然语言处理流程中。

背景与挑战

背景概述

随着大语言模型在自然语言处理领域的迅猛发展，中文对话式模型因其独特的语言结构和文化背景，成为学术界与工业界关注的焦点。Firefly（流萤）中文对话式大语言模型项目由研究者Jianxin Yang于2023年发起，旨在构建高质量的中文指令数据集以支持模型微调。该团队精心收集了23个常见中文数据集，并针对不同自然语言处理任务手工设计了多样化的指令模板，确保数据的丰富性与质量。erhwenkuo/firefly-train-chinese-zhtw数据集作为该项目的衍生版本，在原始115万条数据基础上，通过OpenCC工具完成了简繁转换，并整合了中文诗歌等古典文献资源，进一步拓展了中文语言模型的训练广度。该数据集以文本生成为核心任务，涵盖翻译、古典中文理解等多种场景，为中文大语言模型的领域适配与性能提升提供了坚实的数据基础，对推动中文自然语言处理技术的研究与应用具有重要影响力。

当前挑战

该数据集面临的核心挑战首先在于领域问题的复杂性。中文语言的多义性、古典与现代表达的混杂，以及不同任务（如古典中文翻译、指令遵循）间的语义鸿沟，对模型的泛化能力提出了严苛要求。模型需在有限的训练数据中捕捉深层次的文化语境与语法规则，避免过拟合或语义偏差。其次，构建过程中的技术挑战同样显著。数据来源分散，需从多个仓库下载并整合，增加了预处理难度；简繁转换依赖OpenCC工具，可能引入特定词汇的误转或文化内涵的丢失。此外，数据集的许可信息未明确界定，为后续的合规使用与再分发带来潜在风险。数据规模虽达百万级，但任务类型的多样性导致部分类别样本稀疏，可能影响模型在特定场景下的稳定表现。

常用场景

经典使用场景

在自然语言处理与中文大语言模型研究领域，erhwenkuo/firefly-train-chinese-zhtw数据集最为经典的使用场景是作为指令微调（Instruction Tuning）的训练语料。该数据集整合了23类常见中文NLP任务，并针对每类任务精心设计了多样化的指令模板，从而在保持数据丰富性的同时，显著提升了模型对中文指令的理解与执行能力。研究者通常将其用于训练对话式大语言模型，例如基于Firefly项目训练的firefly-1b4模型，其核心目标在于赋予模型在中文环境下完成多轮对话、文本生成、信息抽取等多种任务的能力。这种高质量的指令数据为模型从预训练阶段迈向实际应用提供了关键的桥梁，使得模型能够更精准地遵循人类意图进行输出。

衍生相关工作

该数据集衍生了一系列具有影响力的相关工作，其中最具代表性的是Firefly项目本身及其训练的firefly-bloom-1b4模型，该项目首次系统性地展示了以中文指令微调提升小型语言模型性能的可行性。此外，基于该数据集的研究还催生了多种针对中文NLP任务的改进方法，例如通过数据增强策略扩展指令模板的多样性，或结合强化学习从人类反馈中进一步优化模型输出。在学术社区中，该数据集常被用作基准来评估不同微调算法在中文场景下的效果，相关论文涉及指令数据质量分析、任务冲突消解等前沿议题。这些衍生工作共同推动了中文大语言模型在可控生成、少样本学习等方向上的持续进步。

数据集最近研究

最新研究方向

在中文大语言模型微调领域，erhwenkuo/firefly-train-chinese-zhtw数据集聚焦于高质量指令微调数据的构建与跨语言适配。该数据集基于Firefly项目，整合了23个中文NLP任务并通过人工编写多样化指令模板提升数据丰富度，其最新研究趋势体现在两方面：一是结合古典文学与现代对话场景的跨时代语言对齐，例如将古诗词翻译为现代汉语的样本设计，强化模型对中文文化语境的深层理解；二是通过简繁转换（如OpenCC工具）实现中文变体间的无缝迁移，推动模型在繁体中文社区的应用。这一方向与当前大语言模型在低资源语言与文化传承中的热点事件相呼应，如多语言对话系统的公平性讨论，其意义在于为中文对话模型提供兼顾传统与现代的语料基础，助力模型在语义精准性与文化包容性上的双重突破。