soketlabs/bhasha-sft

Bhasha SFT是一个大规模的多语言监督微调数据集，包含超过1300万条指令-响应对，涵盖三种印度语言（印地语、古吉拉特语、孟加拉语）和英语。数据集由多个配置组成，每个配置对应不同的数据源，可以单独加载。数据集的字段包括文档ID、对话轮次、消息序列、语言、脚本、数据源、任务类别和内容主题。

原始信息汇总

数据集概述

Bhasha SFT 是一个大规模的多语言监督微调数据集，用于训练大型语言模型。该数据集包含超过1300万条指令-响应数据，涵盖英语和三种印度语言（印地语、古吉拉特语、孟加拉语），包括人工标注和合成数据。

数据集配置

数据集包含多个配置，每个配置对应不同的数据源，可以单独加载。主要配置包括：

• aya: 包含多个子配置，如翻译、模板化新闻等。
• indic: 包含与印度语言对齐的数据。
• samvaad-hi-v1 和 samvaad_mixed_language3: 特定的语言数据配置。

数据集内容

每个数据条目包含以下字段：

• doc_id: 文档ID
• num_turns: 多轮交互的次数
• messages: 指令和响应的序列
• language: 语言类型
• script: 书写文字
• source: 数据源名称
• task: 任务类别
• topic: 内容主题

语言支持

数据集支持以下语言：

• 印地语 (hi)
• 英语 (en)
• 古吉拉特语 (gu)
• 孟加拉语 (bn)

任务类别

数据集涵盖以下任务类别：

• 问答
• 翻译
• 摘要
• 文本生成

许可证

数据集遵循以下许可证：

• cc-by-4.0
• apache-2.0
• mit

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，多语言指令微调数据集的匮乏长期制约着多语言大语言模型的发展。为突破这一瓶颈，Bhasha SFT数据集应运而生，其构建方式融合了多种开源监督微调数据源的精髓。该数据集系统性地整合了来自Aya集合、Aya古吉拉特语与印地语变体、Indic Align、Samvaad印地语V1及Samvaad混合语言3等多个高质量语料库。通过引入翻译、模板化及对齐等精细化处理流程，将原始数据转化为结构化的指令-响应对，最终汇聚成超过1300万条实例的庞大规模，覆盖英语、印地语、古吉拉特语和孟加拉语四种语言。

特点

Bhasha SFT数据集在特点上展现出多维度的优越性。其显著优势在于数据构成的多样性与层次性，不仅囊括了问答、翻译、摘要和文本生成等核心任务类别，还通过细粒度的配置设计（如aya、indic等）支持按需加载不同子集。每条数据均携带丰富的元信息，包括文档标识符、对话轮次、语言脚本及主题标签，为模型训练提供了精细化的控制维度。此外，数据集兼具人类标注与合成数据，在保证真实性的同时拓宽了覆盖范围，使其成为多语言大语言模型微调任务中的理想基石。

使用方法

使用Bhasha SFT数据集进行模型微调时，研究者可依托HuggingFace的datasets库实现高效加载。通过指定配置名称（如'indic'或'aya'），能够精准选取所需子集，例如使用load_dataset('soketlabs/bhasha-sft', 'indic')即可加载印地语对齐数据。数据集中的messages字段以序列形式存储指令与回复，可直接适配对话式模型的训练范式。结合语言、任务和主题等字段，用户可灵活构建定制化的训练管线，适用于从单语言指令微调到跨语言迁移学习的多样化场景。

背景与挑战

背景概述

在自然语言处理领域，多语言大语言模型的微调训练长期受限于高质量监督数据的匮乏，尤其是低资源语言的指令-响应数据。由Soket AI Labs于近期创建的Bhasha SFT数据集，旨在填补这一空白。该数据集整合了来自Cohere For AI的Aya Collection、AI4Bharat的Indic Align、Sarvam AI的Samvaad等多个开源项目，汇聚了超过1300万条涵盖印地语、古吉拉特语、孟加拉语及英语的指令-响应实例。其核心研究问题在于构建一个规模宏大、语言覆盖均衡的监督微调资源，以推动多语言模型在问答、翻译、摘要及文本生成等任务上的泛化能力，为南亚语言的人工智能研究提供了关键数据基础。

当前挑战

该数据集面临的挑战主要体现在两个层面。在领域问题层面，多语言模型在处理形态丰富、语序灵活的低资源语言时，常遭遇跨语言知识迁移困难与语义对齐偏差，Bhasha SFT需通过海量混合语料缓解此类泛化瓶颈。在构建过程层面，整合来自不同许可协议（CC-BY-4.0、Apache-2.0、MIT）的异构数据源，面临格式标准化与版权合规的复杂性；同时，合成数据与人工标注数据的质量参差，以及多轮对话任务中上下文连贯性的保持，均对数据清洗与筛选流程提出了严苛要求。

常用场景

经典使用场景

在自然语言处理领域，多语言监督微调是提升大语言模型跨语言能力的关键环节。Bhasha SFT数据集以其涵盖印地语、古吉拉特语、孟加拉语及英语的庞大指令-应答实例集合，为研究者提供了训练多语言大语言模型的理想资源。该数据集最经典的使用场景是作为监督微调的基石，通过其包含的问答、翻译、摘要与文本生成等多样化任务，研究者可系统性地优化模型在低资源印度语言上的指令遵循能力，从而弥补现有模型在非英语语言上表现欠佳的短板。

解决学术问题

学术研究中，多语言大语言模型常因缺乏高质量、多样化的非英语监督数据而面临泛化能力不足的困境。Bhasha SFT数据集通过整合超过1300万条人工标注与合成数据，有效解决了低资源语言指令微调数据稀缺的核心问题。其意义在于，它使得研究者能够探索跨语言知识迁移的机制，验证模型在多种印度语言上的零样本与少样本学习性能，并推动对多语言对话系统、跨语言推理等前沿课题的深入理解，从而为构建真正普惠的语言技术奠定数据基础。

衍生相关工作

该数据集衍生了多项具有影响力的经典工作。其中，基于Aya collection的配置子集被广泛应用于多语言指令调优研究，催生了诸如Cohere For AI的Aya模型系列；Indic Align子集则推动了印度语言对齐任务的发展，为ai4bharat等团队提供了训练跨语言表示的基础资源；Samvaad子集在对话生成领域被多次引用，促进了面向印地语的开放域聊天机器人研究。这些工作共同验证了Bhasha SFT在促进多语言自然语言处理进步中的核心作用。