rishiraj/bengalichat

Bengali Chat数据集是一个专门为孟加拉语设计的对话和文本生成数据集，旨在解决当前以英语为首的大语言模型在其他语言上表现不佳的问题。该数据集包含10,000条指令和演示，可以用于监督微调（SFT）以改进多语言模型在遵循指令方面的表现。数据集的结构包括prompt（描述模型应执行的任务）、prompt_id（唯一ID）、messages（包含角色和内容的数组）、category（示例所属的类别）和text（兼容SFTTrainer的dataset_text_field格式的内容）。数据集分为训练集和测试集，分别包含9,500和500个示例。数据集采用Creative Commons NonCommercial (CC BY-NC 4.0)许可。

The Bengali Chat Dataset is a dialogue and text generation dataset specifically designed for the Bengali language, aiming to address the poor performance of current English-dominant large language models (LLMs) when applied to other languages. This dataset contains 10,000 instructions and demonstrations, which can be used for Supervised Fine-tuning (SFT) to improve the instruction-following performance of multilingual models. The structure of the dataset includes prompt (describing the task the model should perform), prompt_id (unique identifier), messages (an array containing roles and their contents), category (the category that the example belongs to), and text (content compatible with the dataset_text_field format of SFTTrainer). The dataset is split into training and test sets, containing 9,500 and 500 examples respectively. The dataset is licensed under Creative Commons NonCommercial (CC BY-NC 4.0).

原始信息汇总

数据集概述

数据集名称

Bengali Chat

数据集描述

Bengali Chat数据集是基于OpenAI的InstructGPT论文中的指令数据集构建的，并从HuggingFaceH4/no_robots数据集中翻译而来。该数据集主要包含单轮指令，涵盖多个类别。

语言

数据集中的数据为孟加拉语（BCP-47 bn）。

数据字段

• prompt: 描述模型应执行的任务。
• prompt_id: 提示的唯一ID。
• messages: 消息数组，每个消息包含角色（系统、用户、助手）和内容。
• category: 示例所属的类别（例如Chat或Coding）。
• text: messages的内容，格式与SFTTrainer的dataset_text_field兼容。

数据分割

	train_sft	test_sft
bengalichat	9500	500

类别分布

Category	Count
Generation	4560
Open QA	1240
Brainstorm	1120
Chat	850
Rewrite	660
Summarize	420
Coding	350
Classify	350
Closed QA	260
Extract	190

许可信息

该数据集采用Creative Commons NonCommercial (CC BY-NC 4.0)许可。

引用信息

@misc{bengalichat, author = {Rishiraj Acharya}, title = {Bengali Chat}, year = {2023}, publisher = {Hugging Face}, journal = {Hugging Face repository}, howpublished = {url{https://huggingface.co/datasets/rishiraj/bengalichat}} }

搜集汇总

数据集介绍

构建方式

在大型语言模型对非英语语言支持不足的背景下，rishiraj/bengalichat 数据集应运而生。该数据集以 OpenAI 的 InstructGPT 论文中描述的指令数据集为蓝本，通过对 HuggingFaceH4/no_robots 数据集进行翻译构建而成。原数据集涵盖生成、开放问答、头脑风暴、对话、重写、摘要、编码、分类、封闭问答、提取等十大类别，翻译后形成了包含 10,000 条指令与演示的孟加拉语对话数据集。数据被划分为训练集（9,500 条）和测试集（500 条），每条记录包含提示文本、唯一标识、多轮消息序列、类别标签以及兼容 SFTTrainer 的文本字段。

特点

该数据集具有鲜明的多语言适配特色，专注于孟加拉语（BCP-47 bn）的指令微调任务。其数据字段设计精巧，包含 prompt、prompt_id、messages、category 和 text 五个维度，其中 messages 字段以结构化数组形式存储角色（系统、用户、助手）与内容，便于模型学习对话模式。类别分布均衡，生成类指令占比最高（45.6%），其次为开放问答（12.4%）和头脑风暴（11.2%），确保了任务类型的多样性。数据集采用 CC BY-NC 4.0 许可协议，适用于非商业研究场景，为孟加拉语自然语言处理研究提供了高质量的基础资源。

使用方法

该数据集的使用方式灵活多样，主要面向监督式微调（SFT）场景。研究者可直接利用 text 字段作为 SFTTrainer 的 dataset_text_field 参数进行模型训练，也可解析 messages 字段构建自定义的多轮对话训练流程。数据集与 Transformers 库高度兼容，可通过 Hugging Face Datasets 库加载，并支持按 prompt_id 或 category 进行筛选与采样。在实际应用中，推荐将训练集用于模型参数调整，测试集用于评估指令遵循能力，尤其适合提升孟加拉语大语言模型在生成、问答、摘要等任务上的表现。

背景与挑战

背景概述

在全球自然语言处理领域，以英语为中心的大语言模型在非英语语言上的表现往往不尽如人意，尤其在性能、延迟和速度方面存在显著短板。为弥合这一语言鸿沟，构建面向非英语语言的指令数据集成为亟待解决的关键课题。在此背景下，rishiraj/bengalichat数据集由研究者Rishiraj Acharya于2023年发布，旨在为孟加拉语提供高质量的指令微调资源。该数据集基于OpenAI InstructGPT论文中的指令数据集设计，并从HuggingFaceH4/no_robots翻译而来，涵盖生成、开放问答、头脑风暴、聊天、改写、摘要、编码、分类、封闭问答和提取等十大类别，共计10,000条指令与示范。其发布为孟加拉语大语言模型的监督微调提供了重要基础，推动了多语言模型指令遵循能力的提升，对低资源语言的自然语言处理研究具有深远影响。

当前挑战

该数据集面临的核心挑战在于其解决的领域问题：即如何有效提升非英语语言大模型的指令遵循能力。由于孟加拉语属于低资源语言，现有以英语为主的预训练模型在语义理解、文化适配和语法结构上存在天然劣势，导致模型生成的回复常出现不流畅、不准确或与用户意图偏离的现象。此外，在构建过程中，数据集从英语翻译至孟加拉语时，面临翻译质量难以保证、语境信息丢失以及多义词歧义处理等难题。同时，原始数据集no_robots以单轮指令为主，如何确保翻译后的孟加拉语指令在保持原意的基础上，兼顾本地语言习惯和文化背景，成为数据构建的一大挑战。这些因素共同制约了数据集在真实场景中的泛化能力和模型微调效果。

常用场景

经典使用场景

Bengali Chat数据集专为孟加拉语指令微调而设计，其经典使用场景在于构建和优化多语言大语言模型的监督式微调（SFT）流程。该数据集包含10,000条精心翻译自英文指令集的单轮对话样本，覆盖文本生成、开放问答、头脑风暴、代码编写等十大类别，为研究者提供了高质量、低资源语言下的对齐训练数据。通过将模型在孟加拉语指令上的响应与人类偏好对齐，该数据集有效弥补了英语优先模型在孟加拉语场景下性能与延迟的不足，成为推动非英语语言指令跟随能力提升的关键资源。

解决学术问题

该数据集直面当前大语言模型在非英语语言上表现欠佳的学术困境，尤其解决了孟加拉语等低资源语言缺乏标准化指令微调数据的难题。基于InstructGPT论文的范式，它通过翻译和适配英文高质量指令集，将监督式微调方法拓展至孟加拉语，为多语言模型的对齐研究提供了可复现的基准。这一工作不仅验证了跨语言指令迁移的有效性，还揭示了语言特异性对模型泛化的影响，为后续探索低资源语言自然语言处理中的少样本学习和跨语言知识蒸馏奠定了数据基础。

衍生相关工作

Bengali Chat数据集衍生了一系列推动低资源语言研究的经典工作。其发布后，研究者基于该数据集探索了孟加拉语指令微调中的提示工程策略，并对比了不同翻译质量对模型性能的影响。此外，该数据集与同期发布的Hindichat共同催生了多语言指令微调框架的构建，启发了后续工作如BanglaLLM和BhashaGPT等面向南亚语言的专用模型。在学术社区中，它还常被用作评估跨语言迁移学习效果的基准，并促进了针对孟加拉语语法和语义特性的专项研究。