rishiraj/hindichat

Hindi Chat数据集是一个包含10,000条指令和演示的数据集，专门用于改进多语言模型在印地语上的指令遵循能力。该数据集基于OpenAI的InstructGPT论文中描述的指令数据集，并从HuggingFaceH4/no_robots数据集中翻译而来，主要包含单轮指令，涵盖生成、开放问答、头脑风暴、聊天、重写、总结、编码、分类、封闭问答和提取等多个类别。数据集的特征包括任务描述（prompt）、唯一ID（prompt_id）、消息数组（messages）、类别（category）和消息内容（text）。数据集分为训练集和测试集，分别包含9500和500个样本。数据集使用Creative Commons NonCommercial (CC BY-NC 4.0)许可。

原始信息汇总

数据集概述

数据集名称

Hindi Chat

数据集描述

Hindi Chat 数据集是基于 OpenAI 的 InstructGPT 论文中描述的指令数据集构建的，并从 HuggingFaceH4/no_robots 数据集中翻译而来。该数据集主要包含单轮指令，涵盖多个类别。

语言

数据集中的数据为印地语（BCP-47 hi）。

数据字段

数据集包含以下字段：

• prompt: 描述模型应执行的任务。
• prompt_id: 提示的唯一ID。
• messages: 消息数组，每个消息包含角色（系统、用户、助手）和内容。
• category: 示例所属的类别（例如 Chat 或 Coding）。
• text: messages 的内容，格式与 SFTTrainer 的 dataset_text_field 兼容。

数据分割

数据集分为训练集和测试集：

• 训练集：9500 条样本
• 测试集：500 条样本

许可证

数据集采用 Creative Commons NonCommercial (CC BY-NC 4.0) 许可证。

引用信息

@misc{hindichat, author = {Rishiraj Acharya}, title = {Hindi Chat}, year = {2023}, publisher = {Hugging Face}, journal = {Hugging Face repository}, howpublished = {url{https://huggingface.co/datasets/rishiraj/hindichat}} }