McGill-NLP/tukabench

TukaBench是一个用于评估大型语言模型在非洲语言中是否会被越狱的安全基准数据集。它旨在测试模型在阿姆哈拉语、豪萨语、伊博语、奇切瓦语、斯瓦希里语、科萨语或约鲁巴语等语言中，是否会被诱导生成有害内容（如欺诈指南、选举虚假信息或暴力指令）。数据集包含三个部分：afri-jbb-harm（JailbreakBench的有害提示，经人工忠实翻译，保留西方背景）、afri-jbb-benign（JailbreakBench的良性控制提示，用于测量过度拒绝）和afri-jbb-culture（相同的有害提示，但在翻译前被重写为非洲文化背景，包含本地相关的命名实体和场景）。每种语言共有300个提示（每个部分100个），支持8种语言。数据集适用于多语言安全对齐、攻击鲁棒性和低资源环境下LLM-as-a-judge可靠性的研究。TukaBench is a safety benchmark dataset for evaluating whether large language models (LLMs) can be jailbroken when interacting in African languages. It is designed to test if models can be induced to generate harmful content—including fraud guidance, election disinformation, and violent instructions—across languages such as Amharic, Hausa, Igbo, Chichewa, Swahili, Xhosa, and Yoruba. The dataset consists of three core components: afri-jbb-harm (harmful prompts sourced from JailbreakBench, manually and faithfully translated while preserving the original Western contextual background), afri-jbb-benign (benign control prompts from JailbreakBench, utilized to measure model over-rejection), and afri-jbb-culture (identical harmful prompts rewritten with African cultural contexts before translation, integrating locally relevant named entities and scenarios). Each supported language contains 300 prompts, with 100 prompts allocated to each of the three components, and the dataset supports a total of 8 languages. This dataset is applicable to research on multilingual safety alignment, adversarial attack robustness, and the reliability of LLM-as-a-judge frameworks in low-resource language environments.

搜集汇总

数据集介绍

构建方式

TukaBench的构建历经精密的多阶段流水线：首先，针对除约鲁巴语外的七种非洲语言调用Google Translate进行机器翻译，而约鲁巴语则借助AfriqueQwen-8B模型结合MAFAND少样本示例以确保声调符号的完整性；随后，采用SSA-COMET-QE对每一条机器译文进行质量评估，将评分低于0.50的样本标记为低质；最终，每种语言均聘请两名母语注释员执行人工后编辑校正，对于文化适应子集，注释员还需将西方专有名词与场景替换为本地化等效元素，从而生成兼具保真度与文化相关性的提示内容。

特点

该数据集的核心特色在于其三重对比架构设计：afri-jbb-harm子集忠实翻译JailbreakBench的100条有害提示以保留西方语境，afri-jbb-benign提供等量的良性提示用于测量过度拒绝率，而afri-jbb-culture则对相同有害意图进行文化重写，注入如宗教频道诈骗、选举虚假信息等地域特有的危害模式。数据集横跨英、阿姆哈拉、豪萨、伊博、奇契瓦、斯瓦希里、科萨和约鲁巴共八种语言，每种语言包含300条提示，为探究低资源语言环境下大语言模型的安全对齐脆弱性提供了前所未有的精细化视角。

使用方法

研究者可通过HuggingFace的datasets库便捷加载指定配置与语种：例如，使用load_dataset("McGill-NLP/tukabench", "afri-jbb-harm", split="yor")获取约鲁巴语的有害提示子集，或通过split="eng"调用英语基线样本。每个配置均提供eng、amh、hau、ibo、nya、swh、xho与yor八个语种分割，数据行包含Index标识符、原始英文Goal字段及对应语种译文Goal_Translation。该基准特别适用于评估多语言环境下模型对越狱攻击的鲁棒性、衡量LLM-as-a-judge在低资源场景中的判断可靠性，以及分析文化适应性改写对安全护栏的影响。

背景与挑战

背景概述

TukaBench是由McGill大学NLP实验室团队于2026年创建的一项跨语言大语言模型安全性基准，核心研究旨在评估模型在多语种环境下面临的越狱攻击风险，尤其聚焦于低资源非洲语言（如阿姆哈拉语、豪萨语、伊博语等）。随着大语言模型在非洲地区的广泛应用，现有安全基准（如JailbreakBench）几乎完全依赖英语语境，忽略了本地化欺诈、选举谣言等独特威胁。TukaBench通过引入文化适应性提示（afri-jbb-culture）和良性控制提示，系统性填补了多语种安全对齐研究的空白，推动了对非英语环境攻击鲁棒性的深入探索，对全球AI安全实践具有重要启示意义。

当前挑战

TukaBench面临的挑战多重交织。领域层面，非洲语言在安全测试中缺乏针对性基准，现有仅通过翻译迁移的方法难以捕捉当地特有的危害模式（如移动支付骗局、宗教频道欺诈），导致模型抵抗本地化攻击的能力评估不足。构建过程中，团队遭遇了翻译质量不均衡的难题：部分语言（如约鲁巴语）的机器翻译难以保持正确字符，需依赖专业模型和人工后编辑；同时，文化适应需确保危害场景的真实性且不引入新型伤害，要求标注者兼具语言能力和本地知识。此外，在低资源环境中保证300条/语言的高质量标注，需付出显著的人力与成本控制智慧。

常用场景

经典使用场景

TukaBench作为首个面向非洲低资源语言的文化情境越狱基准数据集，其经典使用场景聚焦于评测大型语言模型在多语言环境下的安全对齐能力。研究者通过该数据集中的三类提示——忠实翻译的通用有害提示、文化改写后的本土化有害提示以及良性对照提示，系统性地检验模型在面对阿姆哈拉语、豪萨语、伊博语等七种非洲语言时是否会被诱导生成欺诈指南、选举虚假信息或暴力煽动内容。该基准尤其注重区分直接翻译与本土化改写带来的安全风险差异，为评估模型在非英语语境下的脆弱性提供了标准化测试框架。

解决学术问题

TukaBench解决了当前大语言模型安全评测中忽视低资源语言与文化适配性的核心学术问题。现有基准多局限于英语，而少数多语言工作依赖机械翻译，无法捕捉移动金融诈骗、宗教频道欺诈、区域政治虚假信息等本土化危害模式。该数据集通过引入文化改写流程，使研究者能够量化模型在面对具有本地实体与情境的恶意提示时的攻击鲁棒性，同时利用良性提示衡量过度拒绝问题。其意义在于填补了多语言安全对齐研究的空白，揭示了语言覆盖的广度与安全保护的深度之间的张力，推动了包容性AI安全评估方法论的发展。

衍生相关工作

TukaBench的发布已经催生了若干衍生的经典工作方向。其一，研究者基于该数据集的‘afri-jbb-culture’配置开发了文化感知型安全对齐算法，通过引入本地化对抗训练提升模型在非洲语境下的鲁棒性。其二，该基准被用于评估LLM-as-a-judge方法在低资源语言上的可靠性，推动了多语言自动安全评估指标的改进。其三，受其文化改写方法论启发，近期工作扩展至南亚、东南亚等地区，构建了类似的本土化越狱基准，形成了跨文化AI安全评估的研究脉络。此外，TukaBench还促进了多语言有害行为检测数据集的构建，将非洲方言与当地社会危害模式纳入系统化研究范畴。