Paul/hatecheck-portuguese

Multilingual HateCheck (MHC) 是一个用于检测10种不同语言中仇恨言论的功能测试套件，包括阿拉伯语、荷兰语、法语、德语、印地语、意大利语、普通话、波兰语、葡萄牙语和西班牙语。每种语言包含25个以上的功能测试，这些测试对应于不同类型的仇恨言论和具有挑战性的非仇恨言论，从而提供针对模型性能的诊断洞察。

原始信息汇总

数据集概述

基本信息

• 名称: Portuguese HateCheck
• 语言: 葡萄牙语 (pt)
• 许可证: CC-BY-4.0
• 多语言性: 单语种
• 数据集大小: 1K<n<10K
• 数据来源: 原始数据
• 任务类别: 文本分类
• 任务ID: 仇恨言论检测

数据集结构

• 文件格式: CSV
• 主要字段:
  • mhc_case_id: 测试案例ID，跨语言唯一。
  • functionality: 测试的功能简写。
  • test_case: 测试案例文本。
  • label_gold: 金标准标签，分为“hateful”或“non-hateful”。
  • target_ident: 目标或引用的受保护群体。
  • ref_case_id: 对于仇恨案例，相关的仇恨案例ID；对于非仇恨案例，对比的仇恨案例ID。
  • ref_templ_id: 模板ID，与ref_case_id对应。
  • templ_id: 生成测试案例的模板ID。
  • case_templ: 生成测试案例的模板（如有）。
  • gender_male 和 gender_female: 性别相关的语言中，性别变化相关的单独条目。
  • label_annotated: 三位注释者给出的标签列表。
  • label_annotated_maj: 三位注释者的大多数投票结果。
  • disagreement_in_case: 如果label_annotated_maj与label_gold不匹配，则为True。
  • disagreement_in_template: 如果同一模板生成的案例中存在至少一个disagreement_in_case，则为True。