AI-Sweden-Models/BiaSWE|厌女检测数据集|文本分类数据集

BiaSWE是一个小型注释数据集，用于检测瑞典语中的厌女症，由社会科学和人文学科的专家团队注释，涉及仇恨言论、厌女症、厌女症类型类别和严重程度。该数据集包含450个数据点，每个数据点至少由两位专家手动注释，分为训练集、验证集和测试集，格式为parquet文件。数据集可用于厌女症与非厌女症文本的分类以及语言模型的去偏。

原始信息汇总

数据集概述

数据集名称

BiaSWE

数据集内容

• 主要特征：
  • text：文本内容，数据类型为字符串。
  • annotations：注释信息，包含多个注释者对文本的分类、评论、仇恨言论、性别歧视和评分。

数据集结构

• 注释结构：
  • 每个注释者包括以下字段：
    • category：分类，数据类型为字符串。
    • comment：评论，数据类型为字符串。
    • hate_speech：仇恨言论，数据类型为字符串。
    • misogyny：性别歧视，数据类型为字符串。
    • rating：评分，数据类型为字符串。

数据集分割

• 分割详情：
  • train：训练集，包含150个样本，总大小为153663字节。
  • val：验证集，包含150个样本，总大小为182637字节。
  • test：测试集，包含150个样本，总大小为176851字节。

数据集大小

• 下载大小：308431字节
• 数据集总大小：513151字节

数据集配置

• 配置文件：
  • default：默认配置，包含训练、验证和测试数据文件的路径。

数据集存储

• 存储格式：Parquet文件

• 文件结构：

  BiaSWE/ /data - train-00000-of-00001.parquet - val-00000-of-00001.parquet - test-00000-of-00001.parquet

数据集用途

用于检测瑞典语中的性别歧视，可用于分类性别歧视与非性别歧视文本，以及对语言模型进行去偏处理。