strombergnlp/shaj

这是一个用于检测阿尔巴尼亚语中侮辱性/攻击性语言的数据集。数据集遵循OffensEval的格式，包含三个子任务：A任务（是否为攻击性语言）、B任务（是否为有针对性的侮辱）、C任务（侮辱的目标类型）。数据集由专家生成，语言为阿尔巴尼亚语，数据来源于阿尔巴尼亚的YouTube和Instagram评论，并由阿尔巴尼亚母语者进行标注。数据集的大小在10K到100K之间，主要用于文本分类任务，特别是仇恨言论检测。

This is a dataset for detecting offensive and aggressive language in Albanian. It follows the format of the OffensEval shared task, and includes three subtasks: Task A (determining whether the text contains aggressive language), Task B (determining whether the attack is targeted), and Task C (classifying the target type of the insult). The dataset was created by experts, with all content in Albanian. Its source data is collected from YouTube and Instagram comments originating from Albania, and was annotated by native Albanian speakers. The size of the dataset ranges from 10,000 to 100,000 instances, and it is mainly used for text classification tasks, particularly hate speech detection.

原始信息汇总

数据集概述

数据集名称

• 名称: SHAJ
• 别名: Spoken Hate in the Albanian Jargon

数据集描述

• 语言:
  • 主要语言: Albanian (bcp47:sq-AL)
• 许可证: cc-by-4.0
• 多语言性: 单语种
• 大小: 10K<n<100K
• 来源: 原始数据
• 任务类别:
  • 文本分类
  • 具体任务:
    • 仇恨言论检测
    • 文本分类其他: 仇恨言论检测

数据集结构

• 数据实例:
  • 包含字段: id, text, subtask_a, subtask_b, subtask_c
  • 数据分割: 训练集包含11874个句子

数据集创建

• 采集理由: 收集数据以支持阿尔巴尼亚语中的攻击性言论检测
• 源数据:
  • 数据来源: 阿尔巴尼亚YouTube和Instagram评论
  • 语言生产者: 在特定阿尔巴尼亚社交媒体账号下评论的用户
• 标注:
  • 标注过程: 采用OffensEval 2019的标注方案，由两位论文作者及其亲友进行标注
  • 标注者: 阿尔巴尼亚语母语者，年龄20-60岁

使用数据注意事项

• 社会影响: 数据集包含攻击性语言
• 许可证: 数据集根据CC-BY 4.0许可证发布

附加信息

• 数据集管理: 由论文作者管理
• 贡献者: Leon Derczynski