SEACrowd/bactrian_x

Bactrian-X数据集是一个包含52种语言的3.4M指令-响应对的集合。这些数据是通过将67K英文指令（来自alpaca-52k和dolly-15k）使用Google Translate API翻译成51种语言，然后使用ChatGPT（gpt-3.5-turbo）生成自然响应而得到的。数据集支持指令调优任务，并对几种语言的响应质量进行了人工评估，特别是对缅甸语和他加禄语的评估。

The Bactrian-X dataset is a collection of 3.4M instruction-response pairs in 52 languages. These pairs were obtained by translating 67K English instructions (from alpaca-52k and dolly-15k) into 51 languages using the Google Translate API, and then generating natural responses using ChatGPT (gpt-3.5-turbo). The dataset supports instruction-tuning tasks and includes human evaluations of response quality for several languages, particularly Burmese and Tagalog.

原始信息汇总

Bactrian X 数据集概述

数据集简介

Bactrian-X 数据集是一个包含 340 万条指令-响应对的集合，涵盖 52 种语言。该数据集通过将 67,000 条英语指令（来自 alpaca-52k 和 dolly-15k）翻译成 51 种语言，并使用 Google Translate API 进行翻译，然后将翻译后的指令输入 ChatGPT（gpt-3.5-turbo）以获取自然响应，最终生成 340 万条指令-响应对。

语言

数据集涵盖以下语言：

• 缅甸语 (mya)
• 他加禄语 (tgl)
• 印度尼西亚语 (ind)
• 高棉语 (khm)
• 泰语 (tha)
• 越南语 (vie)

支持的任务

• 指令调优 (Instruction Tuning)

数据集版本

• 源版本: 1.0.1
• SEACrowd 版本: 2024.06.20

数据集许可证

Creative Commons Attribution Non Commercial 4.0 (cc-by-nc-4.0)

引用

在使用 Bactrian X 数据集时，请引用以下文献：

@misc{li2023bactrianx, title={Bactrian-X : A Multilingual Replicable Instruction-Following Model with Low-Rank Adaptation}, author={Haonan Li and Fajri Koto and Minghao Wu and Alham Fikri Aji and Timothy Baldwin}, year={2023}, eprint={2305.15011}, archivePrefix={arXiv}, primaryClass={cs.CL} }

@article{lovenia2024seacrowd, title={SEACrowd: A Multilingual Multimodal Data Hub and Benchmark Suite for Southeast Asian Languages}, author={Holy Lovenia and Rahmad Mahendra and Salsabil Maulana Akbar and Lester James V. Miranda and Jennifer Santoso and Elyanah Aco and Akhdan Fadhilah and Jonibek Mansurov and Joseph Marvin Imperial and Onno P. Kampman and Joel Ruben Antony Moniz and Muhammad Ravi Shulthan Habibi and Frederikus Hudi and Railey Montalan and Ryan Ignatius and Joanito Agili Lopo and William Nixon and Börje F. Karlsson and James Jaya and Ryandito Diandaru and Yuze Gao and Patrick Amadeus and Bin Wang and Jan Christian Blaise Cruz and Chenxi Whitehouse and Ivan Halim Parmonangan and Maria Khelli and Wenyu Zhang and Lucky Susanto and Reynard Adha Ryanda and Sonny Lazuardi Hermawan and Dan John Velasco and Muhammad Dehan Al Kautsar and Willy Fitra Hendria and Yasmin Moslem and Noah Flynn and Muhammad Farid Adilazuarda and Haochen Li and Johanes Lee and R. Damanhuri and Shuo Sun and Muhammad Reza Qorib and Amirbek Djanibekov and Wei Qi Leong and Quyet V. Do and Niklas Muennighoff and Tanrada Pansuwan and Ilham Firdausi Putra and Yan Xu and Ngee Chia Tai and Ayu Purwarianti and Sebastian Ruder and William Tjhi and Peerat Limkonchotiwat and Alham Fikri Aji and Sedrick Keh and Genta Indra Winata and Ruochen Zhang and Fajri Koto and Zheng-Xin Yong and Samuel Cahyawijaya}, year={2024}, eprint={2406.10118}, journal={arXiv preprint arXiv: 2406.10118} }

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，指令微调数据集对于提升大语言模型的指令跟随能力至关重要。Bactrian X 数据集正是为应对多语言指令微调需求而构建的大规模资源。其构建方式基于两阶段翻译与生成流程：首先，将 67,000 条英文指令（源自 Alpaca-52k 与 Dolly-15k 数据集）通过 Google Translate API 自动翻译为 51 种目标语言；随后，将翻译后的指令输入至 ChatGPT（gpt-3.5-turbo）模型，以生成对应的自然响应。最终，该流程产出了涵盖 52 种语言、共计 340 万条指令-响应对，每种语言包含约 67,000 个实例。针对缅甸语和他加禄语等特定语言，研究团队还开展了人工评估以验证响应质量。

特点

该数据集的核心特点在于其卓越的多语言覆盖与规模优势。Bactrian X 横跨 52 种语言，尤其聚焦于东南亚语系，包括缅甸语、他加禄语、印度尼西亚语、高棉语、泰语和越南语，填补了低资源语言指令数据的空白。数据总量高达 340 万对，为多语言指令微调提供了丰富的训练素材。其构建流程巧妙结合了机器翻译与大型语言模型的生成能力，既保证了指令内容的跨语言一致性，又通过 ChatGPT 生成了自然流畅的响应。此外，数据集遵循 CC-BY-NC 4.0 许可协议，便于学术研究中的非商业使用。

使用方法

使用 Bactrian X 数据集进行指令微调时，研究者可通过 Hugging Face 的 datasets 库便捷加载，只需调用 `load_dataset("SEACrowd/bactrian_x", trust_remote_code=True)` 即可获取完整数据。对于采用 SEACrowd 生态的用户，可利用 `seacrowd` 库的 `load_dataset` 函数按默认配置加载，或通过 `available_config_names` 查看所有子集配置名，再使用 `load_dataset_by_config_name` 指定特定配置。该数据集支持标准的指令微调任务，用户可将其直接用于训练多语言对话模型或评估模型的指令跟随能力。详细的加载指南可在 SEACrowd 数据中心的官方文档中查阅。

背景与挑战

背景概述

在自然语言处理领域，指令微调（instruction tuning）已成为提升大语言模型遵循人类指令能力的关键技术。然而，现有高质量指令数据集多集中于英语，严重制约了多语言模型的开发与评估。为弥合这一鸿沟，由穆罕默德·本·扎耶德人工智能大学（MBZUAI）的研究人员李浩南、Fajri Koto、吴明浩、Alham Fikri Aji和Timothy Baldwin于2023年创建的Bactrian-X数据集应运而生。该数据集通过将67,000条英语指令（源自Alpaca-52k与Dolly-15k）利用谷歌翻译API翻译为51种语言，再输入ChatGPT（gpt-3.5-turbo）生成自然响应，最终构建了涵盖52种语言、总计340万条指令-响应对的庞大规模资源。Bactrian-X的发布为多语言指令微调研究提供了可复现的基准，尤其对东南亚语言（如缅甸语和菲律宾语）的模型优化产生了深远影响，推动了低资源语言在对话AI领域的应用进程。

当前挑战

Bactrian-X数据集面临的核心挑战包括三个方面。首先，在领域问题层面，多语言指令微调需解决跨语言语义对齐的难题：机器翻译引入的噪声可能导致指令意图在不同语言间失真，尤其对于形态复杂或资源匮乏的语言，模型难以学习到一致的遵循能力。其次，在构建过程中，依赖谷歌翻译API进行大规模翻译存在明显局限——翻译质量受限于源语言（英语）与目标语言间的语系差异，且自动生成的响应可能缺乏文化特定语境下的合理性，例如东南亚语言中礼貌层级或习语的表达。最后，数据质量控制面临严峻考验：尽管进行了人工评估，但仅覆盖少数语言，多数语言对的响应质量未经校验，且由单一模型（GPT-3.5）生成响应可能引入系统性偏差，影响下游模型泛化性。这些挑战共同制约了数据集在真实多语言场景中的鲁棒性与实用性。

常用场景

经典使用场景

Bactrian-X数据集的核心应用场景在于多语言指令微调（Instruction Tuning），它通过将英文指令数据（Alpaca-52k与Dolly-15k）借助Google Translate API翻译至51种语言，并利用ChatGPT生成对应回答，构建了涵盖52种语言、共计340万条指令-响应对的大规模平行语料库。这一设计使得研究者能够对预训练语言模型进行跨语言的对齐与适配，尤其适用于资源稀缺语言（如缅甸语、他加禄语）的指令跟随能力提升，为多语言自然语言处理领域提供了可复现、可扩展的基准训练资源。

实际应用

在实际应用中，Bactrian-X可赋能多语言对话系统、智能客服及跨语言内容生成工具的开发。例如，东南亚地区的用户在使用本地语言（如印尼语、越南语、泰语）与AI助手交互时，基于该数据集微调的模型能够更准确地理解复杂指令并生成符合语境的回答。此外，该数据集还能用于构建多语言教育辅助工具、医疗咨询机器人等垂直领域应用，显著降低因语言障碍导致的技术使用门槛，提升人工智能服务的包容性与普惠性。

衍生相关工作

Bactrian-X衍生了一系列重要的学术工作，其中最具代表性的是其原始论文提出的Bactrian-X模型，该模型通过低秩适应（LoRA）技术在多语言指令数据上进行高效微调，验证了数据量与模型性能的扩展规律。后续研究进一步探索了基于该数据集的指令质量评估方法、跨语言指令数据蒸馏策略优化，以及结合SEACrowd数据平台的其他多语言任务（如机器翻译、情感分析）的联合训练范式。这些工作共同推动了多语言指令微调领域从数据构建到模型评估的闭环研究生态发展。