CohereForAI/aya_evaluation_suite

`Aya Evaluation Suite`数据集包含26,750个开放式对话式提示，用于评估多语言开放式生成质量。数据集由三个子集组成：1) `aya-human-annotated`，包含7种语言的人类标注示例；2) `dolly-machine-translated`，包含101种语言的机器翻译示例；3) `dolly-human-edited`，包含6种语言的人类编辑翻译示例。数据集覆盖101种语言，旨在平衡语言覆盖范围和人类标注质量。

原始信息汇总

数据集概述

数据集名称

Aya Evaluation Suite

数据集描述

Aya Evaluation Suite 包含总共 26,750 个开放式对话风格的提示，用于评估多语言开放式生成质量。为了平衡语言覆盖范围和人工策划的质量，我们创建了一个评估套件，包括：

1. 7 种语言的人工策划示例 (tur, eng, yor, arb, zho, por, tel) → aya-human-annotated。
2. 101 种语言的精选示例的机器翻译 → dolly-machine-translated。
3. 6 种语言的人工后期编辑翻译 (hin, srp, rus, fra, arb, spa) → dolly-human-edited。

数据集组成

数据集包括以下子集：

1. aya-human-annotated: 250 个原始人工编写的提示，每种语言 7 个。
2. dolly-machine-translated: 200 个从 databricks-dolly-15k 中人工选择的提示，使用 NLLB 模型 从英语自动翻译成 101 种语言（总共 114 个方言）。
3. dolly-human-edited: 200 个 dolly-machine-translated 提示，由 6 种语言的流利说话者进行后期编辑。

数据字段

• id: 数据点的唯一 ID。
• inputs: 语言模型的提示或输入。
• targets: 语言模型的完成或输出。（不适用于 dolly-human-edited）
• language: 提示和完成的语言。
• script: 语言的书写系统。
• source_id: 对应于 databricks-dolly-15k 数据集的原始行索引（仅适用于 dolly-machine-translated 和 dolly-human-edited 子集）。

数据实例

示例数据实例来自 Aya Evaluation Suite 子集：

aya-human-annotated

json { "id": 42, "inputs": "What day is known as Star Wars Day?", "targets": "May 4th (May the 4th be with you!)", "language": "eng", "script": "Latn", }

dolly-machine-translated

json { "id": 2, "inputs": "How to escape from a helicopter trapped in water ?", "targets": "If you are ever trapped inside a helicopter while submerged in water, it’s best to try and remain calm until the cabin is completely underwater. It’s better to wait for pressure to be equalized, before you try to open the door or break the glass to escape.", "language": "eng", "script": "Latn", "source_id": 6060, }

dolly-human-edited

json { "id": 2, "inputs": "Comment peut-on séchapper dun hélicoptère piégé dans leau ?", "targets": "-", "language": "fra", "script": "Latn", "source_id": 6060, }

语言统计

aya-human-annotated

ISO Code	Language	Resources
tel	Telugu	Low
yor	Yorùbá	Low
arb	Arabic	High
tur	Turkish	High
por	Portuguese	High
zho	Chinese (Simplified)	High
eng	English	High

dolly-machine-translated

ISO Code	Language	Resources
ace	Achinese	Low
afr	Afrikaans	Mid
...	...	...
zul	Zulu	Low

dolly-human-edited

ISO Code	Language	Resources
arb	Arabic	High
fra	French	High
hin	Hindi	High
rus	Russian	High
spa	Spanish	High
srp	Serbian	High

已知限制

• 翻译质量: dolly-machine-translated 子集的表达能力受限于翻译模型的质量，可能会影响对翻译不足语言的能力估计。如果使用此子集进行测试，建议与专业后期编辑的 dolly-human-edited 子集或 aya-human-annotated 集配对报告。

许可证

Apache 2.0

搜集汇总

数据集介绍

构建方式

Aya Evaluation Suite的构建融合了众包、专家生成与机器生成三种范式，旨在平衡多语言覆盖度与人工标注质量。数据集包含三个子集：aya_human_annotated由母语者原创250条提示，覆盖7种语言；dolly_machine_translated基于Databricks Dolly-15k精选200条提示，通过NLLB模型自动翻译至101种语言；dolly_human_edited则对机器翻译结果进行人工后编辑，覆盖6种语言。这种分层设计既保证了语言广度，又通过人工介入提升了数据可靠性。

特点

该数据集的核心特点在于其多元语言生态与质量分层。总计26,750条开放式对话提示，涵盖101种语言，包括低资源语言如约鲁巴语和泰卢固语。子集间存在平行对应关系，dolly_machine_translated与dolly_human_edited通过ID字段可跨语言匹配，便于对比机器翻译与人工精校的效果。此外，数据集提供语言、文字系统及来源索引等元数据，支持细粒度分析与跨文化评估。

使用方法

使用Hugging Face Datasets库即可便捷加载，例如通过load_dataset('CohereLabs/aya_evaluation_suite', 'aya_human_annotated')获取特定子集。数据以提示-完成对形式组织，包含id、inputs、targets、language等字段。研究者可基于语言、资源类型或子集进行筛选，用于多语言生成质量评估、翻译效果对比或低资源场景下的模型微调。建议结合dolly_human_edited子集以弥补机器翻译的表达局限。

背景与挑战

背景概述

在自然语言处理领域，多语言模型的评估长期受限于语言覆盖范围与标注质量之间的矛盾，多数基准测试集中于高资源语言，导致模型在低资源语言上的表现缺乏可靠衡量。为突破这一瓶颈，Cohere For AI 团队联合 Aya 开放科学倡议的众多贡献者，于2024年2月发布了 Aya Evaluation Suite。该数据集由研究机构 Cohere Labs 主导构建，旨在为多语言开放生成任务提供一套兼具广度与深度的评测工具。其核心研究问题在于：如何设计一个能够公平评估模型在101种语言上生成质量的基准，同时保留文化语境与语义的丰富性。该套件通过融合人工注释、机器翻译与人工后编辑三种策略，覆盖了从高资源语言到低资源语言乃至方言的广泛范围，为多语言模型的鲁棒性评测树立了新标杆，对推动语言技术普惠化具有重要影响。

当前挑战

Aya Evaluation Suite 所应对的首要领域挑战是多语言开放生成评估中语言覆盖与质量之间的固有张力。现有基准多集中于英语等少数语言，难以反映模型在真实多语言场景下的表现。该数据集通过构建包含人工撰写、机器翻译及人工后编辑的三层结构，试图在101种语言上平衡评估的广度与深度，但翻译质量的不一致性仍构成显著局限——机器翻译子集的表现受限于翻译模型自身能力，可能低估模型在低资源语言上的真实水平。构建过程中面临的挑战则更为复杂：招募并协调覆盖众多语言的母语注释者，确保人工注释的文化相关性，以及组织专业后编辑人员对机器翻译结果进行修正，均需要大量资源与精细管理。此外，如何从原始 Dolly 数据集中筛选出跨文化适用的提示，并避免翻译过程中的语义漂移，也是设计中的关键难题。

常用场景

经典使用场景

Aya Evaluation Suite 的核心应用在于对多语言大语言模型进行开放式的生成质量评估。该数据集巧妙融合了人工撰写、机器翻译与人工后编辑三种策略，构建了覆盖101种语言的评测基准。其中，aya_human_annotated 子集在7种语言中各包含250条由母语者精心设计的提示，用于评估模型在真实文化语境下的生成能力；而 dolly_machine_translated 子集则将200条英文提示扩展至101种语言，为大规模跨语言一致性测试提供了可能。这一设计使得研究者能够从语言多样性、文化适应性和生成流畅性等多个维度，系统性地衡量模型的多语言表现。

实际应用

在实际应用中，该数据集为多语言对话系统、智能客服和内容生成产品的开发与迭代提供了关键支撑。开发者可利用 aya_human_annotated 子集检验模型在特定语言文化背景下的回答是否贴切自然，例如评估中文模型对本土节日的理解或土耳其语模型对地方习俗的回应。同时，dolly_machine_translated 和 dolly_human_edited 子集的结合使用，使得企业能够快速定位因机器翻译误差导致的性能衰减，并通过后编辑数据进行针对性优化。这种多层次的评估体系显著降低了多语言产品上线前的风险，助力技术在全球范围内的普惠落地。

衍生相关工作

作为 Aya 数据集家族的核心评测组件，Aya Evaluation Suite 已催生了一系列具有影响力的后续研究。其与 aya_dataset（多语言指令微调数据）和 aya_collection（大规模模板化任务数据）共同构成了完整的训练-评测闭环，为多语言模型如 Aya 系列模型的开发提供了实证基础。此外，该数据集的构建方法论——融合人工与机器生成并强调文化相关性——启发了后续如 Red-Teaming 安全评测数据集的设计。学术界还基于其平行翻译结构探索了翻译质量对模型能力评估的干扰效应，进一步推动了评测方法的革新。