wmt26-mist-sample

wmt26-mist-sample数据集是由WMT26 MIST共享任务组织者提供的多语言混合数据，旨在作为微调多语言大语言模型（LLMs）的起点种子数据。它涵盖三种核心任务类型：基于上下文的问答、开放式问答以及单语言与跨语言摘要，以支持同语言和跨语言的理解与生成能力。数据集结构包含五个关键字段：task（标识任务类型，取值为qa或sum）、lang_code（输出语言代码，格式为语言_文字，如zho_Hans）、source（数据来源的子数据集名称）、input（自包含的输入文本，已整合任务提示和上下文等信息）和output（对应的预期输出文本）。数据整合了来自八个子数据集（MCIF-QA、TyDi QA、Aya Dataset、BELEBELE、WMT25-MIST-OEG、CrossSum、MCIF-Sum、Wikilingua）的样本，覆盖超过25种语言，包括阿拉伯语、孟加拉语、中文、捷克语、英语、法语、德语、印地语、意大利语、日语、韩语、俄语、西班牙语、土耳其语、越南语等。数据来源于多个公开数据集，并遵循其各自的原始许可协议（如Apache 2.0、CC BY-SA 4.0等）。该数据集适用于多语言指令微调、问答系统、文本摘要等自然语言处理任务的模型训练与评估。

The wmt26-mist-sample dataset is a multilingual mixed dataset provided by the WMT26 MIST shared task organizers, designed as a starting seed data for fine-tuning multilingual large language models (LLMs). It covers three core task types to support monolingual and cross-lingual understanding and generation capabilities: context-based QA, open-ended QA, and mono- and cross-lingual summarization. The dataset structure includes five key fields: `task` (identifying the task type, with values qa or sum), `lang_code` (output language code in the format language_script, e.g., zho_Hans), `source` (indicating the sub-dataset name from which the data originates), `input` (self-contained input text that integrates task prompts, context, and other information), and `output` (the corresponding expected output text). In terms of data scale, it integrates samples from eight well-known sub-datasets (MCIF-QA, TyDi QA, Aya Dataset, BELEBELE, WMT25-MIST-OEG, CrossSum, MCIF-Sum, Wikilingua), covering over 25 languages, including Arabic, Bengali, Chinese, Czech, English, French, German, Hindi, Italian, Japanese, Korean, Russian, Spanish, Turkish, Vietnamese, among others. The data is sourced from multiple public datasets and adheres to their respective original licensing agreements (e.g., Apache 2.0, CC BY-SA 4.0, etc.). This dataset is suitable for model training and evaluation in natural language processing tasks such as multilingual instruction fine-tuning, question-answering systems, and text summarization.

原始信息汇总

数据集概述

WMT26 MIST 样本数据集（wmt26-mist-sample）是由 WMT26 MIST 共享任务 组织者提供的多语言混合数据集，旨在作为微调多语言大语言模型（LLMs）的起点。

任务类型

数据集包含三类任务：

• 基于上下文的问答（Context-based QA）
• 开放域问答（Open-ended QA）
• 单语和跨语言摘要（Monolingual & Cross-lingual Summarization）

数据字段

每条样本包含以下字段：

• task：任务类型，值为 qa（问答）或 sum（摘要）
• lang_code：输出语言的语言代码，格式为 lang_Script（如 eng_Latn）
• source：样本的来源数据集名称
• input：输入内容，包含任务提示和上下文
• output：期望的输出

数据来源与许可协议

数据集从以下来源收集，每个子集按其原始许可协议重新分发：

数据集	许可协议
CohereLabs/aya_dataset	Apache 2.0
google-research-datasets/tydiqa	Apache 2.0
facebook/belebele	CC BY-SA 4.0
wmt25-mist-oeg-gpt-4.1	TBD
FBK-MT/MCIF	CC BY 4.0
csebuetnlp/CrossSum	CC BY-NC-SA 4.0
esdurmus/Wikilingua / GEM/wiki_lingua	CC BY-NC-SA 3.0

语言覆盖

数据集涵盖 28 种语言（含文字变体）：阿拉伯语（阿拉伯字母）、孟加拉语、捷克语、中库尔德语（阿拉伯字母）、德语、英语、芬兰语、法语、海地克里奥尔语、印地语、印度尼西亚语、意大利语、日语、韩语、马拉地语、波斯语（阿拉伯字母）、葡萄牙语、俄语、斯洛伐克语、西班牙语、斯瓦希里语、泰卢固语、泰语、土耳其语、越南语、约鲁巴语、汉语（简体汉字）。

数据规模与分布

数据集包含 问答 和 摘要 两类任务，数据按以下子集划分（示例语言数据量）：

子任务	包含的子集
问答（QA）	MCIF-QA、TyDi QA、Aya Dataset、BELEBELE、WMT25-MIST-OEG
摘要（Summarization）	CrossSum、MCIF-Sum、Wikilingua

各语言样本数量从数十到数百条不等，例如：

• 德语：QA 含 MCIF-QA 220 条、Aya Dataset 241 条、BELEBELE 300 条、WMT25-MIST-OEG 46 条；摘要含 MCIF-Sum 100 条、Wikilingua 100 条
• 英语：QA 含 MCIF-QA 220 条、TyDi QA 300 条、WMT25-MIST-OEG 46 条；摘要含 CrossSum 376 条、MCIF-Sum 100 条
• 汉语（简体）：QA 含 MCIF-QA 220 条、Aya Dataset 300 条、BELEBELE 300 条、WMT25-MIST-OEG 46 条；摘要含 CrossSum 359 条、MCIF-Sum 100 条

版本与更新

• 2026年6月16日：首个版本发布
• 2026年6月22日（最新）：修复了 BELEBELE 样本中部分不正确的样本，建议使用此版本

使用方式

使用 datasets 库加载： python from datasets import load_dataset mist26_sample_data = load_dataset("pinzhenchen/wmt26-mist-sample")

数据集旨在作为种子数据使用，用户可以自行划分训练集、开发集等。

搜集汇总

数据集介绍

构建方式

该数据集由WMT26 MIST共享任务组织者精心构建，旨在为多语言大语言模型的微调提供初始训练数据。其构建方式是将来自多个现有数据集的样本进行混合与重组，涵盖了基于上下文的问答、开放式问答以及单语与跨语言摘要三大任务类型。具体而言，问答部分整合了MCIF-QA、TyDi QA、Aya Dataset、BELEBELE及WMT25-MIST-OEG等资源，而摘要部分则汇集了CrossSum、MCIF-Sum与Wikilingua的数据。

特点

数据集最为显著的特点在于其广泛的语言覆盖范围，共涵盖27种语言，包括阿拉伯语、孟加拉语、英语、法语、印地语、日语、中文等，充分体现了多语言多样性。同时，每个样本均包含任务类型、输出语言代码、来源、自包含的输入及预期输出等字段，格式统一且标准。数据集还提供了按语言和子数据集划分的详尽样本统计，便于研究人员了解分布情况。

使用方法

用户可通过安装HuggingFace的datasets库，调用load_dataset函数直接加载该数据集的注释数据。数据集文件以JSON格式存储，用户可根据研究需求自行将其分割为训练集、验证集或测试集。值得注意的是，该数据集仅作为种子数据供入门使用，WMT26 MIST共享任务亦鼓励参与者自行构建或扩展训练样本，以探索更优的多语言模型微调策略。

背景与挑战

背景概述

wmt26-mist-sample数据集由WMT26多语言指令微调共享任务组织者于2026年6月发布，由Pinzhen Chen等研究人员构建，旨在为多语言大语言模型的指令微调提供种子数据。该数据集整合了八个已有子集，涵盖上下文问答、开放式问答及单语与跨语言摘要三类任务，覆盖27种语言，涉及阿拉伯语、孟加拉语、英语、中文等丰富语种。其核心研究问题在于探索如何通过混合多源、多任务、多语言训练数据，提升模型在相同语言及跨语言场景下的理解与生成能力。作为WMT26评测任务的基础资源，该数据集对推动多语言自然语言处理领域的发展具有重要影响力，尤其为低资源语言的模型性能提升提供了关键支撑。

当前挑战

该数据集所解决的领域挑战主要体现为多语言指令微调中数据稀缺性与任务多样性的矛盾。现有大语言模型在高资源语言上表现优异，但在低资源语言如库尔德语、海地克里奥尔语、斯洛伐克语等上面临显著性能衰减，且缺乏覆盖多种任务类型的统一训练数据。构建过程中，研究者需克服来自八个不同源数据集（如TyDi QA、BELEBELE、CrossSum）的格式异构性与许可兼容性问题，同时平衡各语言与任务间的样本分布不均，例如某些语言仅出现在特定子集中。此外，跨语言摘要数据CrossSum需按输出语言组织，源文本采样自其他语言，增加了数据对齐与质量控制复杂性。为解决BELEBELE子集中部分样本错误更正问题，数据集在2026年6月22日发布更新版本，进一步体现了数据构建中的迭代修复挑战。

常用场景

经典使用场景

wmt26-mist-sample数据集专为多语言大语言模型的微调而设计，其经典使用场景涵盖上下文问答、开放域问答以及单语和跨语言摘要生成。研究者可利用该混合数据集，在涵盖阿拉伯语、汉语、英语等二十余种语言的指令数据上，训练模型在相同语言内及跨语言环境下进行理解与生成。凭借其多样化的任务类型和丰富的语言覆盖，该数据集成为构建多语言LLM能力基线的重要基石，尤其适用于评估模型在多语言环境下的零样本或少样本泛化性能。

衍生相关工作

该数据集衍生出的经典工作包括多语言指令微调策略的改进、跨语言迁移学习方法的创新以及多任务联合训练的探索。例如，研究者基于此混合数据构建了更高效的语言适配器，从而在不更新全部模型参数的前提下快速赋能新语言；另有一些工作利用其任务多样性，设计了动态课程学习策略以提升低资源语言上的下游性能。此外，该数据集还催生了针对多语言模型鲁棒性和公平性的评估框架，推动了开放科学研究中多语言基准的统一化进程。

数据集最近研究

最新研究方向

当前，wmt26-mist-sample数据集正引领着多语言大模型微调的前沿探索，其核心聚焦于构建兼具同语言与跨语言理解及生成能力的通用型指令系统。随着WMT26多语言指令共享任务的推进，该数据集通过整合源自Aya Dataset、TyDi QA、BELEBELE、CrossSum等高质量资源的上下文问答、开放式问答及单/跨语言摘要任务，为突破低资源语言与高资源语言之间的性能鸿沟提供了关键种子数据。这一举措不仅响应了全球多语言AI系统公平性与包容性的迫切需求，更推动了如GPT-4.1等先进模型在复杂多语言场景下的适应性研究。其深远意义在于，通过标准化的多任务指令格式，加速了面向真实世界多语言交互的鲁棒模型研发，为未来通用人工智能的跨语言泛化能力奠定了基准。