five

ticoAg/Belle_train_3.5M_CN

收藏
Hugging Face2024-03-26 更新2024-06-11 收录
下载链接:
https://hf-mirror.com/datasets/ticoAg/Belle_train_3.5M_CN
下载链接
链接失效反馈
官方服务:
资源简介:
该数据集包含约350万条由BELLE项目生成的中文指令数据,主要用于文本到文本生成任务。数据以对话形式呈现,包括多轮和单轮对话,涵盖了13个不同的指令类别。数据集的使用仅限于研究目的,不得用于商业或其他可能对社会造成危害的用途。

该数据集包含约350万条由BELLE项目生成的中文指令数据,主要用于文本到文本生成任务。数据以对话形式呈现,包括多轮和单轮对话,涵盖了13个不同的指令类别。数据集的使用仅限于研究目的,不得用于商业或其他可能对社会造成危害的用途。
提供机构:
ticoAg
原始信息汇总

数据集概述

基本信息

  • 许可证: GPL-3.0
  • 任务类别: 文本到文本生成
  • 语言: 中文
  • 数据集大小: 1M<n<10M

内容描述

  • 数据量: 约350万条中文指令数据
  • 数据来源: BELLE项目生成
  • 数据格式: 对话形式,包含多轮和单轮对话

样例结构

  • id: 数据ID
  • conversations: 对话内容,包括发言者(human或assistant)和对话文本

使用限制

  • 仅限研究使用,禁止商业用途
  • 不得用于可能对社会造成危害的用途
搜集汇总
数据集介绍
main_image_url
构建方式
该数据集由BELLE项目精心构建,汇聚了约350万条高质量的中文指令数据。数据以对话形式组织,涵盖单轮与多轮交互场景,每条记录包含唯一标识符和由人类与助手构成的对话序列。构建过程中,项目团队通过系统化生成策略,确保指令覆盖多样化的任务类型,如归纳介绍、菜谱编写等,从而模拟真实世界中用户与智能助手的交互模式。
特点
数据集的核心特点在于其规模庞大且内容多元,包含从简单指令到复杂多轮对话的丰富样本。每个样本均以结构化JSON格式呈现,便于解析与处理。此外,数据集还引入13个指令类别字段,进一步增强了数据的组织性和可分析性。这种分类设计不仅提升了数据集的可用性,还为后续研究提供了细粒度的任务标签支持。
使用方法
该数据集适用于文本生成任务的微调与评估,尤其适合训练中文对话模型。使用时,可直接加载JSON格式数据,通过解析'conversations'字段获取对话历史。建议根据任务需求选择单轮或多轮样本,并可利用类别字段进行针对性训练。数据集仅限研究目的,禁止商业用途,确保其在学术领域的合规应用。
背景与挑战
背景概述
随着大规模语言模型在自然语言处理领域的迅猛发展,高质量中文指令数据的稀缺性成为制约模型性能提升的关键瓶颈。ticoAg/Belle_train_3.5M_CN数据集由BELLE项目团队于2023年左右创建,隶属于北京链家科技研究院,旨在通过生成约350万条中文指令数据,弥补中文场景下指令微调数据集的不足。该数据集以对话形式呈现,涵盖单轮与多轮交互,支持文本生成任务,其规模与多样性为中文大语言模型的指令跟随能力提供了坚实基础。自发布以来,该数据集已成为中文NLP社区的重要资源,推动了诸如ChatGLM、Baichuan等模型的中文指令微调研究,对提升模型在中文语境下的理解与生成能力产生了深远影响。
当前挑战
该数据集面临的挑战主要体现在领域问题与构建过程两方面。在领域问题上,尽管数据集规模庞大,但指令类别仅包含13个粗粒度分类,难以覆盖中文语言中丰富的语义场景与领域知识,导致模型在特定任务(如法律、医疗等专业领域)上的泛化能力受限。在构建过程中,数据全部由BELLE项目自动生成,缺乏人工校验与多样性控制,可能引入噪声、重复或逻辑不一致的样本,影响微调效果。此外,数据集的许可限制(仅限研究用途)及潜在的社会危害风险,如生成不当内容,也对其广泛应用构成了障碍,亟需更精细的标注策略与安全过滤机制。
常用场景
经典使用场景
该数据集最为经典的使用场景在于为中文大语言模型的指令微调(Instruction Tuning)提供高质量的监督训练数据。通过约350万条涵盖多轮对话与单轮指令的中文样本,研究者能够有效提升模型对人类意图的理解能力与遵循指令生成文本的准确性,从而在自然语言处理任务中实现更为流畅、可控的交互式输出。
实际应用
在实际应用中,该数据集广泛用于构建面向中文用户的智能客服、虚拟助手及教育辅助系统。通过微调后的模型能够准确响应日常咨询、提供菜谱推荐、旅行建议等生活化指令,显著提升了人机交互的自然度与实用性。此外,其多轮对话结构也适用于开发需要上下文记忆的复杂任务,如个性化推荐与多步骤问题解决。
衍生相关工作
该数据集衍生了一系列经典工作,例如基于其扩展的带有指令类别标签的版本(train_3.5M_CN_With_Category),促进了指令分类与模型行为分析的研究。同时,它被广泛用于评估中文指令微调策略的效果,催生了多种参数高效微调方法(如LoRA)在中文场景的适配工作,并为后续如Belle系列模型、中文ChatGPT类系统的开发提供了基准数据,推动了开源中文指令数据的标准化与社区共建。
以上内容由遇见数据集搜集并总结生成
二维码
社区交流群
二维码
科研交流群
商业服务