davidquicast/sorry-bench-202503-multilingual-backup

---
language:
- en
- ar
- bn
- de
- es
- fr
- hi
- ja
- ru
- zh
license: mit
task_categories:
- text-generation
tags:
- safety
- multilingual
- sorry-bench
- jailbreak
- harmful-content
---

# sorry-bench-202503-multilingual

Multilingual version of [SorryBench](https://huggingface.co/datasets/sorry-bench/sorry-bench-202503) — a benchmark for evaluating LLM safety refusals across 44 harm categories and 21 prompt styles.

This dataset contains 1,000 stratified English prompts from SorryBench translated into 9 languages, plus the original English, for a total of 10,000 rows.

## Schema

| Column | Type | Description |
|---|---|---|
| `question_id` | int | Original SorryBench question ID |
| `category` | int | Harm category (1–44) |
| `prompt_style` | string | SorryBench prompt style (e.g. `base`, `role_play`, `ascii`, `morse`) |
| `language` | string | ISO 639-1 code (`en` for originals, `ar`/`bn`/etc. for translations) |
| `turns` | string | Prompt text in the target language |

## Languages

English (`en`), Arabic (`ar`), Bengali (`bn`), German (`de`), Spanish (`es`), French (`fr`), Hindi (`hi`), Japanese (`ja`), Russian (`ru`), Chinese Simplified (`zh`)

## Translation method

- **Normal/role-play/slang/misspelling styles** — translated with Cohere `command-a-03-2025`
- **Cipher styles** (ascii, atbash, caesar, morse) — instructional template translated per language; cipher payload preserved as-is (it encodes English content)

## Source

Sampled from `sorry-bench/sorry-bench-202503` (stratified across all 44 categories and 21 prompt styles). Records with null source text in the original dataset were excluded.

---
language:
- 英语（en）
- 阿拉伯语（ar）
- 孟加拉语（bn）
- 德语（de）
- 西班牙语（es）
- 法语（fr）
- 印地语（hi）
- 日语（ja）
- 俄语（ru）
- 中文（zh）
license: MIT许可证
task_categories:
- 文本生成
tags:
- 安全
- 多语言
- sorry-bench
- 越狱（jailbreak）
- 有害内容
---

# sorry-bench-202503-multilingual

本数据集是[SorryBench](https://huggingface.co/datasets/sorry-bench/sorry-bench-202503)的多语言版本，是一款用于评估大语言模型（Large Language Model, LLM）在44种有害类别与21种提示词风格下的安全拒答表现的基准测试集。

本数据集收录了来自SorryBench的1000条分层采样的英文提示词，将其翻译为9种语言，加上原始英文版本，总计10000条数据行。

## 数据模式（Schema）

| 列名 | 数据类型 | 描述 |
|---|---|---|
| `question_id` | 整数型 | 原始SorryBench的问题ID |
| `category` | 整数型 | 有害类别（1–44） |
| `prompt_style` | 字符串型 | SorryBench提示词风格（例如`base`、`role_play`、`ascii`、`morse`） |
| `language` | 字符串型 | ISO 639-1语言代码（`en`代表原始英文，`ar`/`bn`等代表翻译后的语言） |
| `turns` | 字符串型 | 目标语言的提示词文本 |

## 支持语言

支持的语言包括英语（`en`）、阿拉伯语（`ar`）、孟加拉语（`bn`）、德语（`de`）、西班牙语（`es`）、法语（`fr`）、印地语（`hi`）、日语（`ja`）、俄语（`ru`）以及简体中文（`zh`）。

## 翻译方法

- **普通/角色扮演/俚语/拼写错误类提示词风格**：采用Cohere `command-a-03-2025`模型进行翻译
- **密码类提示词风格**（ascii、atbash、凯撒、摩尔斯）：针对每种语言翻译指令模板，密码负载保持原样（其编码内容为英文原文）

## 数据来源

本数据集采样自`sorry-bench/sorry-bench-202503`（在全部44个有害类别与21种提示词风格中进行分层采样）。原始数据集中存在空源文本的记录已被排除。