sinhala-nlp/SOLD

SOLD（僧伽罗冒犯性语言数据集）是一个用于识别僧伽罗语中冒犯性语言的基准数据集。该数据集包含10,000条来自Twitter的帖子，这些帖子在句子级别和词汇级别上被手动标注为冒犯性或非冒犯性。SOLD是迄今为止最大的僧伽罗语冒犯性语言数据集。此外，还介绍了SemiSOLD数据集，这是一个更大的数据集，包含超过145,000条僧伽罗语推文，采用半监督方法进行标注。

原始信息汇总

数据集概述

数据集名称

• SOLD：Sinhala Offensive Language Dataset
• SemiSOLD：基于半监督方法的扩展数据集

数据集内容

• SOLD：包含10,000条来自Twitter的帖子，分为offensive和not offensive两类，同时提供句子级和词级标注。
• SemiSOLD：包含超过145,000条Sinhala tweets，通过半监督方法进行标注。

数据集特点

• SOLD：是目前最大的针对Sinhala语言的offensive语言数据集。
• SemiSOLD：包含由九种不同分类器预测的offensiveness分数。

数据集结构

• SOLD：
  • post_id：Twitter ID
  • text：帖子文本
  • tokens：分词后的文本
  • rationals：offensive标记（1表示offensive，0表示非offensive）
  • label：句子级标签（offensive或not offensive）
• SemiSOLD：
  • post_id：Twitter ID
  • text：帖子文本
  • 包含九种分类器的预测offensiveness分数

数据集使用

• SOLD 和 SemiSOLD 均可在HuggingFace上获取，并可通过Python代码加载到pandas数据框中进行进一步分析。

实验设置

• 提供了多种实验命令，用于执行句子级和词级的offensive语言检测实验，支持不同的模型类型和参数设置。