carminho/harmbench-ptpt

该数据集是walledai/HarmBench基准的葡萄牙语（欧洲葡萄牙语，pt-PT）翻译版本，专门用于安全性和红队测试领域。翻译工作通过Gemma 4 31B Instruct模型实现，旨在将原英文基准转换为葡萄牙语，以支持葡萄牙语环境下的评估和研究。数据集包含两个配置：standard（标准HarmBench提示）和contextual（上下文HarmBench提示），均保持了与原数据集相同的结构和标签字段，确保数据的一致性和可用性。用户可以通过HuggingFace的datasets库加载特定配置进行使用。

This dataset is a Portuguese (European Portuguese, pt-PT) translation of the walledai/HarmBench benchmark, focused on safety and red-teaming applications. The translation was performed using the Gemma 4 31B Instruct model, converting the original English benchmark into Portuguese to facilitate evaluation and research in Portuguese-speaking contexts. It includes two configurations: standard (standard HarmBench prompts) and contextual (contextual HarmBench prompts), both preserving the same structure and label fields as the original dataset to ensure consistency and usability. Users can load specific configurations via the HuggingFace datasets library.

搜集汇总

数据集介绍

构建方式

harmbench-ptpt数据集是基于Walled AI团队构建的HarmBench基准测试的葡萄牙语（欧洲葡萄牙语，pt-PT）翻译版本。原始数据集的全部指令与标签字段均被完整保留，并借助Gemma 4 31B Instruct大语言模型完成高保真度的语言转换，确保语义等价性与文化适配性，从而在保留原始安全评估框架结构的同时，实现了跨语言场景下的可迁移性。

特点

该数据集包含标准（standard）与上下文（contextual）两种配置，分别对应原始HarmBench中的通用提示与情境化提示。其独特之处在于，它不仅提供了葡萄牙语安全红队测试资源，还通过保持原始标签体系，使得研究者能够无缝进行跨语言安全对齐对比实验，填补了葡萄牙语安全性评估领域的资源空白。

使用方法

用户可通过Hugging Face Datasets库便捷加载数据集，调用load_dataset函数并指定配置名称即可获取相应分片。例如，加载标准配置时使用load_dataset("carminho/harmbench-ptpt", "standard")，加载上下文配置则替换为"contextual"参数。数据集以标准split结构组织，便于直接集成到现有评估流程中。

背景与挑战

背景概述

在大型语言模型（LLMs）安全评估领域，如何系统化地探测模型在非英语语言中的潜在风险已成为一项关键课题。WalledAI团队于2024年构建的HarmBench基准，旨在通过标准化红队测试提示（red-teaming prompts）评估LLMs对有害内容的生成倾向。然而，该基准主要基于英语，忽视了语言多样性对安全评估的影响。为此，研究者carminho于2025年使用Gemma 4 31B Instruct模型对HarmBench进行了欧洲葡萄牙语（pt-PT）的翻译，形成了harmbench-ptpt数据集。这一工作填补了葡萄牙语LLMs安全评估工具的空白，为拉丁语系语言的安全对齐研究提供了跨语言验证基础，推动了多语言AI安全评测体系的完善。

当前挑战

harmbench-ptpt数据集面临的核心挑战在于解决领域问题：现有安全基准多聚焦英语，而葡萄牙语LLMs可能因训练数据分布差异而产生迥异的有害内容生成模式，缺乏针对该语言的系统性红队测试工具将导致安全漏洞被忽视。在构建过程中，翻译环节需攻克三大难点：其一，HarmBench包含大量文化特异性有害表述（如涉及美国政治敏感内容），直接翻译可能丧失原意或触发语境外的不当联想；其二，运用Gemma 4模型自动翻译时，需防范原有害提示在翻译过程中被模型无意净化或曲解，从而破坏评估的有效性；其三，同一有害行为在英语与葡萄牙语语境下的严重程度分级可能不同，需确保标签信息的跨语言一致性。

常用场景

经典使用场景

在人工智能安全对齐研究领域，harmbench-ptpt数据集扮演着至关重要的角色。作为HarmBench基准的葡萄牙语版本，它被广泛用于评估和测试大语言模型在面对恶意指令时的安全防护能力。研究者可以通过该数据集的标准配置（standard）和上下文配置（contextual），系统性地检测模型对各类有害提示的拒绝机制是否完善。这种跨语言的评估工具使得葡萄牙语环境下的大模型安全评估成为可能，为构建更加鲁棒和负责任的人工智能系统提供了不可或缺的测试基础。

解决学术问题

该数据集有效回应了多语言人工智能安全研究中长期存在的基准缺失问题。学术界此前主要依赖英语安全评估数据集，导致非英语大语言模型的安全性能难以被客观量化。harmbench-ptpt填补了这一空白，使研究者能够测量葡萄牙语大模型在面对社会工程、虚假信息、仇恨言论等有害内容时的防御能力。这项工作的意义在于推动了多语言安全对齐理论的发展，揭示了语言文化差异对模型安全行为的影响机制，为建立普适性人工智能安全评估框架贡献了关键实证依据。

衍生相关工作

harmbench-ptpt的诞生催生了一系列重要的扩展研究工作。基于该葡萄牙语基准，研究者构建了专门的葡语大模型安全红队测试框架，开发了适应葡语语法特征的对抗性提示生成算法。同时，该数据集被用于训练葡萄牙语安全分类器，并作为跨语言安全比较研究的评估基准。此外，有学者利用该数据集分析机器翻译系统在转换有害内容时的语义保留现象，推动了多模态安全评估工具链的构建。这些衍生工作共同促进了人工智能安全研究向多语言、多文化维度深入拓展。