Paul/hatecheck-german

German HateCheck是Multilingual HateCheck数据集的一部分，专门用于德语的仇恨言论检测。该数据集包含超过25种功能测试，旨在检测和分析不同类型的仇恨言论及挑战性的非仇恨言论，以评估和改进仇恨言论检测模型的性能。

annotations_creators:
- 众包（crowdsourced）
language_creators:
- 专家生成（expert-generated）
language:
- 德语（de）
license:
- CC BY 4.0（cc-by-4.0）
multilinguality:
- 单语言（monolingual）
pretty_name: 德语仇恨检测测试集（German HateCheck）
size_categories:
- 1000<n<10000（1K<n<10K）
source_datasets:
- 原始数据集（original）
task_categories:
- 文本分类（text-classification）
task_ids:
- 仇恨言论检测（hate-speech-detection）
# 多语言仇恨检测测试集（Multilingual HateCheck）数据集卡片
## 数据集描述

多语言仇恨检测测试集（Multilingual HateCheck，下称MHC）是一套面向10种语言的仇恨言论检测模型的功能测试套件，涵盖阿拉伯语、荷兰语、法语、德语、印地语、意大利语、普通话、波兰语、葡萄牙语及西班牙语。
针对每种语言，均包含25项以上的功能测试，对应不同类型的仇恨言论及具有迷惑性的非仇恨言论样本。
这使得研究人员能够针对模型性能开展精准的诊断分析。

如需了解更多细节，请参阅我们发表于2022年北美计算语言学协会年会（NAACL 2022）线上辱骂与伤害研讨会（Workshop on Online Abuse and Harms，下称WOAH）的MHC相关论文。若您使用本数据集，请引用我们的研究成果！
- **论文**：Röttger等人（2022）——《多语言仇恨检测测试集：面向多语言仇恨言论检测模型的功能测试》，https://arxiv.org/abs/2206.09917
- **代码仓库**：https://github.com/rewire-online/multilingual-hatecheck
- **联系人**：[e-mail]

## 数据集结构

本数据集采用CSV格式，整体与原版仇恨检测测试集（HateCheck）数据基本一致，仅针对特定语言做了少量调整。

**mhc_case_id**
跨语言的每个测试用例的唯一标识符（例如"mandarin-1305"）

**functionality**
该测试用例所测试功能的简写形式（例如"target_obj_nh"）。除普通话与阿拉伯语外，所有语言均采用相同的测试功能；由于普通话和阿拉伯语使用非拉丁字母，需针对拼写变体调整测试内容。

**test_case**
测试用例文本。

**label_gold**
测试用例的金标准标签，取值为"hateful"（仇恨言论）或"non-hateful"（非仇恨言论）。同一功能类别下的所有测试用例拥有相同的金标准标签。

**target_ident**
测试用例中针对或提及的受保护群体（如适用）。所有仇恨检测测试集（HateCheck）均涵盖7类目标群体，但不同语言的群体组成存在差异。

**ref_case_id**
针对仇恨言论样本，若适用则为用于生成该测试用例的原始仇恨言论样本ID；针对非仇恨言论样本，若适用则为该测试用例所对比的仇恨言论样本ID。

**ref_templ_id**
与ref_case_id含义类似，但对应模板ID。

**templ_id**
生成该测试用例所使用的模板ID。

**case_templ**
生成该测试用例所使用的模板（如适用）。

**gender_male**与**gender_female**
针对存在词性屈折变化的语言（法语、西班牙语、葡萄牙语、印地语、阿拉伯语、意大利语、波兰语、德语），仅当测试用例涉及性别屈折时，分别用gender_male和gender_female条目替代case_templ。

**label_annotated**
三名标注人员对该测试用例标注的标签列表（例如"['hateful', 'hateful', 'hateful']"）。

**label_annotated_maj**
三名标注人员的多数投票结果（例如"hateful"）。在部分场景中，该结果与语言专家给出的金标准标签存在差异。

**disagreement_in_case**
若该条目的label_annotated_maj与label_gold不一致，则取值为真（True）。

**disagreement_in_template**
若该测试用例由IDENT模板生成，且同一模板生成的测试用例中至少存在一条具有disagreement_in_case属性，则取值为真（True）。该字段可用于排除MHC中的整个模板集合。

原始信息汇总

数据集概述

基本信息

• 名称: German HateCheck
• 语言: 德语（de）
• 许可证: CC-BY-4.0
• 多语言性: 单语种
• 大小: 1K<n<10K
• 数据来源: 原始数据
• 任务类别: 文本分类
• 任务ID: 仇恨言论检测

数据集结构

• mhc_case_id: 跨语言的唯一测试案例ID
• functionality: 测试案例所测试的功能简写
• test_case: 测试案例文本
• label_gold: 测试案例的金标准标签（"hateful" 或 "non-hateful"）
• target_ident: 相关时，测试案例中针对或提及的保护群体
• ref_case_id: 相关时，用于生成测试案例的仇恨案例ID或对比的仇恨案例ID
• ref_templ_id: 与ref_case_id类似，但针对模板ID
• templ_id: 生成测试案例的模板ID
• case_templ: 生成测试案例的模板（相关时）
• gender_male 和 gender_female: 性别相关语言中，性别变化相关的单独条目
• label_annotated: 三位注释者给出的标签列表
• label_annotated_maj: 三位注释者的多数投票结果
• disagreement_in_case: 如果label_annotated_maj与label_gold不匹配，则为True
• disagreement_in_template: 如果同一模板生成的案例中至少有一个存在disagreement_in_case，则为True