larryvrh/belle_filtered_2.8M_CN

该数据集是通过启发式方法过滤后的[BelleGroup/train_3.5M_CN]数据集，移除了语料中明显的错误和低质量内容。数据集包含对话形式的数据，每段对话都有一个唯一的id和类别。数据集的特征包括conversations（对话内容）、id（数据id）和category（数据类别）。数据集主要用于文本生成和对话任务，语言为中文。数据集的规模在1M到10M之间，包含2802515个训练样本。

This dataset is the [BelleGroup/train_3.5M_CN] dataset filtered via heuristic methods, with obvious errors and low-quality content removed from the corpus. The dataset consists of conversational data, where each dialogue has a unique id and category. The dataset's features include `conversations` (for storing dialogue content), `id` (unique data identifier), and `category` (data category). This dataset is primarily used for text generation and dialogue tasks, and is in Chinese. The dataset has a scale ranging from 1M to 10M, containing 2,802,515 training samples.

原始信息汇总

数据集概述

数据集信息

• 特征字段:

  • conversations: 包含对话内容，每个对话包含以下字段:
    • from: 对话来源，数据类型为字符串
    • value: 对话内容，数据类型为字符串
  • id: 数据标识，数据类型为字符串
  • category: 数据类别，数据类型为字符串

• 数据分割:

  • train: 训练集，包含2802515个样本，总大小为4151854934字节

• 下载大小: 2513439396字节

• 数据集大小: 4151854934字节

• 配置:

  • default: 默认配置，包含训练集数据文件路径为data/train-*

• 许可证: GPL-3.0

• 任务类别:

  • 文本生成
  • 对话系统

• 语言: 中文

• 数据集规模: 1M<n<10M

数据构成

Category	Count
close qa	112,570
classification	125,623
extract	6,400
open qa	385,306
harmless	45,968
role playing	465,782
rewrite	28,146
code	180,825
translation	29,923
summarization	99,017
math	106,202
generation	1,023,643
brainstorming	193,110

搜集汇总

数据集介绍

构建方式

该数据集源自 BelleGroup/train_3.5M_CN，通过启发式过滤策略系统性地移除了原始语料中的明显错误与低质量内容，从而构建出高质量的中文对话数据集。具体而言，过滤过程针对文本的完整性、语义连贯性及信息噪声等多维指标进行筛选，保留了结构清晰、内容充实的对话样本。最终形成包含约 280 万条数据的高质量子集，覆盖从简单问答到复杂生成等多种对话场景。

特点

数据集以多轮与单轮对话为核心组织形式，每条样本包含对话内容、唯一标识符及类别标签，便于按任务类型进行筛选。其突出特点在于类别覆盖广泛，涵盖生成、角色扮演、开放问答、代码、数学等 13 种对话类型，其中生成类数据占比最高，达 36.5%，体现了对开放域对话能力的侧重。此外，数据规模适中（2.8M），兼顾了模型训练的多样性与计算效率。

使用方法

该数据集适用于中文大语言模型的指令微调与对话能力训练。使用时，可直接加载 HuggingFace 上的 'train' 分片，按 'category' 字段选取特定任务类型的数据，或利用 'conversations' 字段构建多轮对话序列。推荐将数据按 8:1:1 比例划分为训练、验证与测试集，并配合标准文本生成损失函数进行模型优化。数据许可证为 GPL-3.0，需遵守相关开源协议。

背景与挑战

背景概述

在大规模语言模型微调领域，高质量中文对话数据的稀缺性一直是制约模型性能提升的关键瓶颈。为应对这一挑战，BELLE项目团队于2023年发布了train_3.5M_CN数据集，旨在为中文指令微调提供丰富的语料资源。然而，原始数据中不可避免地存在噪声与低质量内容，为此，研究者进一步采用启发式过滤方法，构建了larryvrh/belle_filtered_2.8M_CN数据集。该数据集由约280万条对话组成，涵盖问答、分类、角色扮演、代码生成等十余个类别，其构建工作由相关开源社区的研究人员推动，核心目标在于提升中文对话模型的指令遵循能力与生成质量。该数据集已成为中文大模型微调领域的重要基准资源，对推动中文自然语言处理研究具有显著影响力。

当前挑战

当前数据集面临的首要挑战在于领域问题的复杂性：对话生成任务要求模型在开放式问答、角色扮演、数学推理等多样场景中保持连贯性与准确性，而不同类别间的语义鸿沟增加了模型泛化的难度。构建过程中，启发式过滤方法虽能剔除明显的错误数据，却难以完全消除语义模糊、逻辑矛盾或文化偏见等隐性噪声，导致部分低质量样本仍残留在数据集中。此外，数据类别分布不均衡，例如生成类样本超过百万条，而提取类仅数千条，这种长尾分布可能使模型偏向高频类别，削弱对低频任务的适应能力。数据规模与质量之间的平衡，以及多轮对话中上下文一致性的维护，构成了持续优化的关键挑战。

常用场景

经典使用场景

在中文大语言模型的微调与对齐研究中，belle_filtered_2.8M_CN数据集被广泛用作指令微调的核心语料。该数据集通过启发式过滤策略，从原始BelleGroup/train_3.5M_CN中剔除了明显错误与低质量内容，保留了约280万条高质量多轮对话。其覆盖类别丰富，涵盖开放式问答、角色扮演、代码生成、数学推理、摘要生成等十余种任务，为模型理解中文语境下的复杂指令提供了坚实的数据基础。研究者常将其作为基座模型进行监督微调的标准训练集，以提升模型在中文场景下的指令遵循能力与对话流畅性。

实际应用

在实际工业部署中，belle_filtered_2.8M_CN被用于训练中文智能客服、教育辅导机器人及内容生成助手等对话系统。例如，企业可基于该数据集微调模型，使其能够准确执行菜谱生成、景点推荐、文化习俗咨询等生活化指令。其多轮对话结构尤其适用于需要上下文记忆的交互场景，如旅行规划助手需在连续对话中综合用户偏好提供建议。此外，代码与数学类数据支持了编程辅助与教育答疑等专业应用，显著提升了中文环境下AI助手的实用性与用户满意度。

衍生相关工作

该数据集衍生了一系列经典研究，包括基于其类别分布设计的指令难度评估方法，以及利用其中角色扮演与无害化数据构建的对话安全检测框架。研究者还以其为训练数据，探索了多任务学习在中文大模型上的效果，例如通过混合close qa与open qa数据提升模型的知识检索与生成平衡能力。此外，部分工作将其与英文指令数据集联合使用，进行跨语言迁移学习，验证了中文指令微调对模型整体语言理解能力的增强作用。这些工作共同巩固了belle_filtered_2.8M_CN作为中文指令微调基准数据集的重要地位。