Paul/hatecheck-french

Multilingual HateCheck (MHC) 是一个用于检测10种不同语言中仇恨言论的功能测试套件，包括阿拉伯语、荷兰语、法语、德语、印地语、意大利语、普通话、波兰语、葡萄牙语和西班牙语。每种语言都有25个以上的功能测试，这些测试对应于不同类型的仇恨和具有挑战性的非仇恨言论，从而提供有针对性的模型性能诊断见解。

原始信息汇总

数据集概述

基本信息

• 名称: French HateCheck
• 语言: 法语（French）
• 许可证: CC-BY-4.0
• 多语言性: 单语（monolingual）
• 大小: 1K<n<10K
• 数据来源: 原始数据（original）
• 任务类别: 文本分类（text-classification）
• 任务ID: 仇恨言论检测（hate-speech-detection）

数据集结构

• mhc_case_id: 跨语言的唯一测试案例ID。
• functionality: 测试案例的功能简写。
• test_case: 测试案例文本。
• label_gold: 测试案例的金标准标签（"hateful" 或 "non-hateful"）。
• target_ident: 相关时，测试案例中针对或提及的保护群体。
• ref_case_id: 相关时，用于生成当前测试案例的仇恨案例ID。
• ref_templ_id: 与ref_case_id类似，但用于模板ID。
• templ_id: 生成测试案例的模板ID。
• case_templ: 生成测试案例的模板（相关时）。
• gender_male 和 gender_female: 仅在性别变化相关的案例中，用于性别变化语言的性别标记。
• label_annotated: 三位注释者给出的标签列表。
• label_annotated_maj: 三位注释者的多数投票结果。
• disagreement_in_case: 如果label_annotated_maj与label_gold不匹配，则为True。
• disagreement_in_template: 如果从同一模板生成的案例中至少有一个存在disagreement_in_case，则为True。