nayeon212/CREHate

CREHate是一个跨文化的英语仇恨言论数据集，旨在解决单一语言内文化多样性在仇恨言论检测中的不足。该数据集通过两个步骤构建：1) 文化帖子收集，2) 跨文化注释。数据来源于SBIC数据集和四个地理上分散的英语国家（澳大利亚、英国、新加坡和南非），并收集了来自这些国家及美国的注释以建立每个国家的代表性标签。数据集包含1,580个帖子，每个帖子由来自五个国家的注释者进行注释，共产生7,900个标签。数据集的统计信息显示了数据来源和数量，文件结构部分则说明了数据存储和相关的代码文件。

CREHate is a cross-cultural English hate speech dataset designed to address the lack of cultural diversity within a single language in hate speech detection. The dataset is constructed through a two-step procedure: 1) cultural post collection, and 2) cross-cultural annotation. Data is sourced from the SBIC dataset and four geographically diverse English-speaking countries (Australia, United Kingdom, Singapore, and South Africa), with annotations collected from these countries plus the United States to establish representative labels for each country. The dataset contains 1,580 posts, each annotated by annotators from five countries, resulting in a total of 7,900 labels. The dataset statistics show the sources and quantities of data, and the file structure section explains the data storage and related code files.

原始信息汇总

CREHate数据集概述

数据集基本信息

• 许可证: cc-by-sa-4.0
• 任务类别: 文本分类
• 语言: 英语
• 数据集大小: 1K<n<10K

数据集配置

• 配置名称: main_data
  • 数据文件:
    • split: all
      • 路径: "data/CREHate_final_annotations.csv"
    • split: sbic
      • 路径: "data/CREHate_SBIC.csv"
    • split: cp
      • 路径: "data/CREHate_CP.csv"
• 配置名称: raw_data
  • 数据文件: "data/CREHate_raw_annotations.csv"

数据集描述

CREHate 是一个跨文化英语仇恨言论数据集，旨在解决单一语言内文化多样性被忽视的问题。该数据集通过从SBIC数据集和四个地理多样化的英语国家（澳大利亚、英国、新加坡、南非）收集帖子，并进行跨文化标注构建而成。数据集包含1,580个帖子，由美国、澳大利亚、英国、新加坡和南非的标注者进行标注，总计7,900个标签。

数据集统计

• 总帖子数: 1,580
• 来源:
  • CC-SBIC:
    • Reddit: 568
    • Twitter: 273
    • Gab: 80
    • Stormfront: 59
  • CP:
    • Reddit: 311
    • YouTube: 289
• 总计: 1,580

文件结构

• data/: 包含所有帖子的各国标签，包括原始标注文件。CC-SBIC和CP帖子的单独文件以及从仇恨关键词收集调查中获得的关键词文件也包含在内。