safety-SeGa
收藏资源简介：
Safety-SeGa是一个三语（巴斯克语、西班牙语、英语）平行语料库，设计用于评估大型语言模型的安全性表现。它包含不安全和安全的提示，用于区分模型是否能够正确拒绝不安全提示而不错误地拒绝安全提示。
Safety-SeGa is a trilingual (Basque, Spanish, English) parallel corpus designed to evaluate the safety performance of large language models (LLMs). It contains both unsafe and safe prompts, which are utilized to assess whether a model can correctly reject unsafe prompts without incorrectly rejecting safe ones.
Safety-SeGa 数据集概述
数据集简介
Safety-SeGa 是一个巴斯克语-西班牙语-英语三语平行数据集，专门用于评估大语言模型的安全行为。该数据集包含不安全提示和安全提示，通过对比模型对这两类提示的反应来评估其安全性表现。
核心特征
- 语言支持：巴斯克语(EU)、西班牙语(ES)、英语(EN)
- 数据对齐：所有样本在三种语言中完全对齐
- 提示类型：包含安全(safe)和不安全(unsafe)两类提示
- 不安全提示明显违反安全准则
- 安全提示在风格或主题上相似但不包含有害内容
评估指标
- 违规率(VR)：模型未能拒绝的不安全提示比例
- 错误拒绝率(FRR)：模型错误拒绝的安全提示比例
数据结构
数据字段
| 字段 | 类型 | 描述 |
|---|---|---|
| question | 字符串 | 输入问题 |
| type | 字符串 | 提示类型（safe/unsafe） |
| category | 字符串 | 危害类别 |
危害类别
- 暴力
- 自残
- 错误信息
- 个人数据
- 非法活动
- 毒品
- 儿童剥削
- 恐怖主义
- 露骨内容
学术背景
- 灵感来源：XSTest (Röttger et al., 2024)
- 研究重点：将多语言安全评估扩展到低资源语言环境，特别关注巴斯克语
引用信息
如需使用 Safety-SeGa，请引用：
@inproceedings{sainz-etal-2025-instructing, title = "Instructing Large Language Models for Low-Resource Languages: A Systematic Study for {B}asque", author = "Sainz, Oscar 等", booktitle = "Proceedings of the 2025 Conference on Empirical Methods in Natural Language Processing", year = "2025", url = "https://aclanthology.org/2025.emnlp-main.1484/", doi = "10.18653/v1/2025.emnlp-main.1484" }
