dsfsi/setswana-sentiment

DSFSI Setswana Sentiment是一个包含3,555条Setswana（ISO 639-3: `tsn`）推文的情感分析数据集，由三位母语标注者进行标注。数据集提供了完整的标注时间戳、语言识别元数据和每位标注者的标签，以支持下游建模和标注质量研究。数据集分为训练集（2,762条）、验证集（346条）和测试集（346条），以及一个包含所有数据的完整配置（3,555条）。标注标签包括Positive（正面）、Negative（负面）、Neutral（中性）、Mixed（混合）和Indeterminate（不确定）。数据集主要用于Setswana及相关班图语的情感分类器训练和评估，以及标注分歧和标注质量研究。

DSFSI Setswana Sentiment is a sentiment analysis dataset of 3,555 Setswana (ISO 639-3: `tsn`) tweets annotated by three native-speaker annotators. The dataset is released alongside full per-annotation timestamps, language-identification metadata, and per-annotator labels to enable both downstream modelling and annotation-quality research. The dataset includes training (2,762 examples), validation (346 examples), and test (346 examples) splits, as well as a full configuration (3,555 examples). The labels include Positive, Negative, Neutral, Mixed, and Indeterminate. The dataset is intended for training and evaluating sentiment classifiers for Setswana and related Bantu languages, as well as research on annotator disagreement and annotation-quality monitoring.

搜集汇总

数据集介绍

构建方式

该数据集名为setswana-sentiment，旨在为低资源语言——茨瓦纳语（Setswana）提供情感分析资源。其构建基于Twitter平台，共收集3,555条推文，由三位母语为茨瓦纳语的大学生标注员独立完成标注。每条推文均经过预处理，涵盖用户名、提及与URL的脱敏处理、哈希标签标准化及大小写统一，以保护隐私并确保模型输入的一致性。数据集配置了四种分片：训练集（2,762条）、验证集（346条）、测试集（346条）以及包含全部数据和元数据的完整集。标注过程生成了五大情感类别标签，并在完整集中保留了每位标注者的标注时间戳与语言识别信息，以支持下游建模与标注质量研究，最终通过多数投票机制获得共识标签，并以分层抽样确保类别分布均衡。

特点

该数据集的核心特点在于其丰富的元数据与高质量标注体系。每条推文不仅包含预处理的文本字段，还提供了三位标注者的独立标签、标注时间戳（ISO-8601格式）以及基于AfroLID的语言识别信息（前三名预测语言及其置信度），显著增强了数据透明度。标注类别涵盖Positive、Negative、Neutral、Mixed、Indeterminate及Disagreement，其中Neutral与Negative类别占据主导（合计约82%），而Positive类别相对稀疏（14.6%）。标注者间一致性（Randolph's free-marginal κ）达到0.76，属于“优秀”水平，反映出数据质量的可靠性。完整集保留了因共识分歧而排除的样本，为标注不一致研究提供了珍贵资源。数据集还附带了批次信息与token数量，便于细粒度分析与偏差评估。

使用方法

数据集使用简洁高效，用户可通过Hugging Face的`load_dataset`函数直接加载。默认配置仅包含train、validation与test分片，适用于训练情感分类器，模型输入为`text`字段，目标标签为`consensus_label`。如需进行标注质量或分歧研究，可加载完整集（`“full”`配置），额外使用`ann1_label`至`ann3_label`、标注时间戳及`consensus_type`等字段。数据集的列结构中，`label_id`以整数形式编码共识标签（Positive: 0, Negative: 1, Neutral: 2），便于直接代入深度学习框架。用户还可利用`lid_top1_lang`等语言识别字段对非茨瓦纳语推文进行过滤，提升模型针对性。该数据集特别适用于茨瓦纳语及相关班图语言的情感分析模型微调、多语言预训练语言模型基准测试，以及标注者间不一致性的时序效应研究。

背景与挑战

背景概述

在自然语言处理领域，低资源语言的情感分析是一项极具挑战性的任务，尤其是对于非洲语言而言，由于缺乏大规模标注语料库，相关研究长期处于滞后状态。DSFSI Setswana Sentiment数据集由Idris Abdulmumin、Mokgadi Penelope Matloga等来自南非多所大学的研究人员于2026年创建，旨在填补茨瓦纳语（Setswana）情感分析资源的空白。该数据集包含3555条来自Twitter的标注推文，由三位母语者独立标注，并提供了详细的每标注者时间戳、语言识别元数据和标注者标签。其核心研究问题在于构建茨瓦纳语情感分类器，同时探索标注者间一致性及标注质量的时间动态。该数据集为低资源班图语言的情感分析研究奠定了基础，并推动了多语言和非洲语言预训练模型的基准测试。

当前挑战

该数据集面临的挑战体现在两个层面。在领域问题层面，茨瓦纳语作为低资源语言，缺乏大规模标注语料，情感表达常嵌入间接、讽刺的政治与社会评论中，导致负面与中性情感混淆（占总标签82%），而正面情感样本严重不足（仅14.6%），增加了模型训练的难度。在构建过程中，挑战包括：从Twitter收集数据需处理隐私问题，对文本进行去标识化预处理以替换用户名、URL等；三位标注者异步标注导致时间跨度差异显著，成为标注一致性的强预测因子；多数投票共识无法解决全部47例分歧样本（占1.3%）和三例标注者完全不一致的情况，需细致处理标注冲突以生成可靠训练集。

常用场景

经典使用场景

在低资源语言自然语言处理领域，Setswana情感数据集（setswana-sentiment）是构建和评估情感分类器的核心基准资源。该数据集包含3,555条经三位母语者独立标注的茨瓦纳语推文，划分为训练（2,762条）、验证（346条）和测试（346条）三个标准子集。研究者通常利用其提供的干净预处理文本和多数投票共识标签，训练能够区分正面、负面与中性三类情感的分类模型。该数据集的经典应用涵盖了从传统的支持向量机到当代多语言预训练语言模型（如mBERT、XLM-RoBERTa）的微调实验，尤其为非洲语言情感分析的模型适应性研究提供了标准化测试平台。

解决学术问题

该数据集系统性地回应了低资源语言情感分析中长期存在的标注稀缺与质量评估双重挑战。通过提供每一条推文的三位标注者独立标签、时间戳及语言识别元数据，它使得研究者能够探究标注者间不一致性的根源——例如，研究揭示负面与中性的混淆往往源于茨瓦纳语政治社会评论中常见的间接与反讽表达方式。更重要的是，该数据支撑了标注时间同步性与标注质量之间关联性的实证研究，为构建更鲁棒的众包标注质量控制机制提供了理论依据，对推动低资源语言语料库建设的方法论革新具有重要意义。

衍生相关工作

该数据集的发布催生了多个方向的研究工作。首先，基于其详细的标注时间戳信息，衍生出关于标注者认知疲劳与时间跨度对标注质量影响的建模研究，相关成果发表于计算语言学领域顶级会议。其次，该数据集成为评估多语言预训练模型在班图语系语言上迁移学习效果的基准之一，推动了如AfriBERTa等非洲语言专用模型的情感分类能力验证。此外，数据中的语言识别元数据启发了融合语言检测与情感分析的多任务学习框架探索，促进了低资源场景下联合建模技术的发展。