Paul/hatecheck-italian

Multilingual HateCheck (MHC) 是一个用于10种不同语言（阿拉伯语、荷兰语、法语、德语、印地语、意大利语、普通话、波兰语、葡萄牙语和西班牙语）的仇恨言论检测模型的功能测试套件。每种语言都有25+的功能测试，对应不同类型的仇恨和具有挑战性的非仇恨内容，从而提供针对模型性能的针对性诊断洞察。

原始信息汇总

数据集概述

基本信息

• 名称: Italian HateCheck
• 语言: 意大利语
• 许可证: CC-BY-4.0
• 多语言性: 单语种
• 大小: 1K<n<10K
• 数据来源: 原创
• 任务类别: 文本分类
• 任务ID: 仇恨言论检测

数据集结构

• mhc_case_id: 跨语言的唯一测试案例ID。
• functionality: 测试案例所测试的功能简写。
• test_case: 测试案例文本。
• label_gold: 测试案例的金标准标签（“hateful”或“non-hateful”）。
• target_ident: 适用的目标群体，所有HateChecks覆盖七个目标群体，但组成因语言而异。
• ref_case_id: 对于仇恨案例，适用的仇恨案例ID，用于生成此测试案例。
• ref_templ_id: 与ref_case_id等效，但用于模板ID。
• templ_id: 生成测试案例的模板ID。
• case_templ: 生成测试案例的模板（适用时）。
• gender_male 和 gender_female: 对于性别屈折语言，性别屈折相关案例的性别男性与女性条目。
• label_annotated: 三位评审者给出的标签列表。
• label_annotated_maj: 三位评审者的大多数投票结果。
• disagreement_in_case: 如果label_annotated_maj与label_gold不匹配，则为True。
• disagreement_in_template: 如果测试案例由IDENT模板生成，且至少有一个案例的disagreement_in_case为True，则为True。