FLORES-101

arXiv2021-06-07 更新2024-08-06 收录

下载链接：

http://arxiv.org/abs/2106.03193v1

下载链接

链接失效反馈

官方服务：

资源简介：

FLORES-101评估基准包含从英文维基百科提取的3001个句子，覆盖了多种不同主题和领域。这些句子由专业翻译人员通过严格控制的过程翻译成101种语言，旨在更好地评估模型在低资源语言长尾上的质量，包括评估多对多多语言翻译系统。

The FLORES-101 evaluation benchmark consists of 3001 sentences extracted from English Wikipedia, spanning diverse topics and domains. These sentences were translated into 101 languages by professional translators via a strictly controlled process, aiming to better evaluate the quality of models on low-resource language long tails, including the assessment of many-to-many multilingual translation systems.

创建时间：

2021-06-07

搜集汇总

数据集介绍

构建方式

FLORES-101数据集的构建始于从英语维基百科中精心挑选3001个句子，这些句子均匀取自WikiNews、Wikijunior和WikiVoyage三大领域，覆盖广泛主题。为确保多语言对齐，所有句子均由专业翻译人员通过严格控制的流程翻译成101种语言。构建过程分为三个阶段：首先筛选源句子，其次通过试点实验确定最优翻译与质量保证流程，最后启动大规模翻译。翻译采用双语言服务提供商与独立质量评估方协作的模式，并引入自动检测机制（如识别机器翻译复制）以剔除低质译文，最终经过多轮人工评估确保每门语言的翻译质量评分达到90%以上。

使用方法

FLORES-101专为机器翻译系统的评估而设计，尤其适用于低资源与多语言场景。用户可基于其提供的dev集进行超参数调优，利用devtest集在开发阶段测试模型，并通过公开评估服务器使用未发布的test集进行公平对比。数据集支持多种使用方式：既可评估英语到其他语言的翻译，也可评估非英语语言间的直接翻译（如中文到西班牙语），从而验证多对多翻译模型的有效性。此外，其丰富的元数据还允许研究者拓展至句子分类、语言识别及多语言领域适应等任务，促进跨语言自然语言处理研究的深入。

背景与挑战

背景概述

在机器翻译领域，尽管针对高资源语言对的技术已取得显著进展，但低资源语言的翻译质量仍长期受限于高质量评估基准的匮乏。现有基准要么对低资源语言覆盖不足，要么局限于特定领域（如宗教文本或新冠疫情），抑或由于采用半自动构建流程而质量堪忧。为填补这一空白，Facebook AI Research 的 Naman Goyal、Cynthia Gao 等研究人员于2021年推出了 FLORES-101 评估基准。该数据集精心选取了来自英语维基百科的3001个句子，涵盖新闻、少儿百科与旅行指南三大领域，并由专业译员通过严格的质量控制流程翻译为101种语言。FLORES-101 的核心研究问题在于为低资源及多语言机器翻译提供高覆盖、高质量、支持多对多评估的基准，从而推动该领域的科学进步。其影响力体现在：它不仅使10100个语言对的评估成为可能，还通过丰富的元数据支持文档级翻译、多模态翻译等下游任务，为社区确立了数据集构建的规范与最佳实践。

当前挑战

FLORES-101 所应对的挑战首先来自领域问题：低资源机器翻译研究长期受困于缺乏能公平比较不同方法的评估标准。现有基准多仅支持英语为中心的单向评估，无法衡量多对多翻译系统的真实泛化能力，尤其忽视了区域相关语言对（如西班牙语-艾马拉语）的翻译质量。此外，数据构建过程本身面临重重困难：低资源语言的专业译员稀缺，且其工作质量难以核查；翻译流程中需防范对商用翻译引擎的抄袭，确保人工翻译的独立性与高保真度。为应对这些挑战，FLORES-101 设计了包含自动检测（如语言识别、长度校验、引擎抄袭筛查）与人工评估（基于语法、错译、自然度等九类错误的翻译质量评分）的迭代工作流，并设定了90%的质量阈值。构建中还需解决多语言对齐、元数据标注及跨语言 tokenizer 的统一等难题，最终在45种语言上经历了平均一轮的重译，耗时约两个月完成单个语言的全部流程。

常用场景

经典使用场景

在机器翻译领域，FLORES-101 被广泛用作评估低资源语言和多语言翻译模型性能的黄金标准。其涵盖 101 种语言、3001 句源自英语维基百科的句子，经由专业翻译人员精心翻译，确保了高翻译质量与跨语言对齐。研究者常利用该数据集对多对多翻译系统进行标准化评测，尤其关注那些在传统基准中缺失的少数语种，如绍纳语、尼扬贾语等，从而客观衡量模型在语言长尾分布上的泛化能力。

解决学术问题

该数据集有效解决了低资源机器翻译领域长期缺乏高质量、大规模、多语言对齐评估基准的困境。它使得研究者能够系统比较不同模型在 10,100 个语言方向上的表现，从而揭示训练数据规模、语言家族、句子长度与领域对翻译质量的影响。FLORES-101 的发布极大推动了多语言翻译研究的科学化进程，为后续模型改进、指标创新（如 SentencePiece BLEU）提供了坚实的实验基础。

实际应用

在实际应用中，FLORES-101 为开发面向全球用户的翻译服务提供了关键的评测工具。例如，它被用于测试非洲语言（如祖鲁语、斯瓦希里语）与亚洲语言之间的直接翻译能力，支持区域性的多语言通信。此外，该数据集还赋能文档级翻译、多模态翻译（结合图像元数据）以及文本分类等下游任务，帮助技术团队在产品上线前准确评估翻译系统的鲁棒性与实用性。

数据集最近研究