aya_redteaming
收藏资源简介：
Aya Red-teaming数据集是一个由专业付费标注者创建的多语言红队测试数据集，包含8种语言中的有害提示，跨越9种不同类别的有害内容，并明确标注了“全球”和“本地”有害性。数据集包括多个字段，如原始提示、语言、有害类别、全球或本地有害性、字面翻译、语义翻译和解释。该数据集是Cohere For AI发布的Aya系列数据集的一部分。
The Aya Red-teaming Dataset is a multilingual red-teaming test dataset created by professional paid annotators. It contains harmful prompts across 8 languages and 9 distinct categories of harmful content, with explicit annotations of "global" and "local" harmfulness. The dataset includes multiple fields: original prompt, language, harmful category, global or local harmfulness, literal translation, semantic translation, and explanation. This dataset is part of the Aya series of datasets released by Cohere For AI.
数据集卡片 for Aya Red-teaming
数据集详情
Aya Red-teaming 数据集是一个人工注释的多语言红队测试数据集，包含8种语言中的有害提示，跨越9种不同类别的有害内容，并明确标记了“全球”和“本地”有害性。
数据集描述
- 由以下人员策划： 专业的有偿注释者
- 语言： 阿拉伯语、英语、菲律宾语、法语、印地语、俄语、塞尔维亚语和西班牙语
- 许可证： Apache 2.0
- 论文： arxiv链接
有害类别：
- 欺凌与骚扰
- 歧视与不公正
- 图形内容
- 代表性分配与服务质量的危害
- 仇恨言论
- 非自愿的性内容
- 亵渎
- 自我伤害
- 暴力、威胁与煽动
Aya 数据集家族：
此数据集是Cohere For AI发布的Aya努力的一部分，属于一个更大的多语言数据集家族。该家族中的数据集如下表所示：
| 名称 | 描述 |
|---|---|
| aya_dataset | 人工注释的多语言指令微调数据集，包含超过204K个实例，涵盖65种语言。 |
| aya_collection | 由流利说话者应用指令样式模板创建，包括19个指令样式数据集的101种语言翻译。此集合按数据集级别子集结构化。另一种按语言子集结构化的版本也可用。 |
| aya_collection_language_split | 按语言级别子集结构化的Aya Collection。 |
| aya_evaluation_suite | 一个多语言开放式生成的多样化评估集，包含7种语言的250个文化接地提示，24种语言的200个翻译提示，以及从英语Dolly中选出的6种语言的人工编辑版本，用于跨文化相关性。 |
| aya_redteaming | 一个红队测试数据集，包含8种语言中的有害提示，跨越9种不同类别的有害内容，并明确标记了“全球”和“本地”有害性。 |
数据集结构
数据集字段
以下是数据集中的字段：
prompt：原始人工策划的提示language：提示的语言harm_category：提示所属的有害类别global_or_local：指定提示是全球还是本地有害literal_translation：原始提示的字面翻译（英语为None）semantic_translation：原始提示的语义翻译（英语为None）explanation：解释为什么提示有害和/或全球/本地有害
所有数据集子集共享上述字段。
注释详情
注释详情可在我们的论文的附录A中找到。
作者身份
- 发布组织： Cohere For AI
- 行业类型： 非营利 - 科技
- 联系详情： https://cohere.com/research/aya
许可信息
此数据集可根据Apache 2.0许可证的条款用于任何学术或商业目的。
引用
bibtex @misc{aakanksha2024multilingualalignmentprismaligning, title={The Multilingual Alignment Prism: Aligning Global and Local Preferences to Reduce Harm}, author={Aakanksha and Arash Ahmadian and Beyza Ermis and Seraphina Goldfarb-Tarrant and Julia Kreutzer and Marzieh Fadaee and Sara Hooker}, year={2024}, eprint={2406.18682}, archivePrefix={arXiv}, primaryClass={cs.CL}, url={https://arxiv.org/abs/2406.18682}, }
