ProBel
收藏资源简介：
ProBel 是一个双语（阿拉伯语和英语）的可解释宣传检测基准数据集。它包含来自新闻和社交媒体的句子和帖子，每条数据都标注了以下信息：二元宣传标签（是否存在宣传）、23 种细粒度宣传技术（映射到 6 种粗粒度类别：操纵性措辞、声誉、合理化、简化、呼吁、分散注意力）、技术标记的字符跨度（起始和结束位置），以及用输入语言编写的参考解释。数据集分为阿拉伯语和英语两个子集，每个子集都有训练集、验证集和测试集。阿拉伯语子集包含 18,453 条训练样本、1,318 条验证样本和 1,326 条测试样本；英语子集包含 20,077 条训练样本、2,567 条验证样本和 3,993 条测试样本。每条记录包含唯一标识符、文本、语言、分割、来源类型、来源数据集、二元标签、技术列表、粗粒度类别列表、跨度列表（每个跨度包含技术、文本、起始和结束位置）、解释、元数据（来源 URL 等）以及原始嵌套注释结构。数据的标签分布呈长尾特征，英语测试集中宣传样本占比 27.8%，阿拉伯语测试集中占比 61.3%。该数据集适用于文本分类（二元宣传检测）、序列标注（跨度识别）以及文本生成（解释生成）等任务。许可证为 CC BY-NC-SA 4.0，仅限非商业用途，需署名且以相同方式共享。
ProBel is a bilingual (Arabic and English) interpretable propaganda detection benchmark dataset. It contains sentences and posts from news and social media, each annotated with: binary propaganda label (presence of propaganda), 23 fine-grained propaganda techniques (mapped to 6 coarse-grained categories: Manipulative Wording, Reputation, Rationalization, Simplification, Appeal, Distraction), character spans of technique annotations (start and end positions), and reference explanations written in the input language. The dataset is divided into Arabic and English subsets, each with training, validation, and test splits. The Arabic subset contains 18,453 training samples, 1,318 validation samples, and 1,326 test samples; the English subset contains 20,077 training samples, 2,567 validation samples, and 3,993 test samples. Each record includes a unique identifier, text, language, split, source type, source dataset, binary label, list of techniques, list of coarse-grained categories, list of spans (each containing technique, text, start and end positions), explanation, metadata (source URL, etc.), and the original nested annotation structure. The label distribution shows a long-tail characteristic, with propaganda samples accounting for 27.8% in the English test set and 61.3% in the Arabic test set. The dataset is suitable for tasks such as text classification (binary propaganda detection), sequence labeling (span identification), and text generation (explanation generation). The license is CC BY-NC-SA 4.0, non-commercial use only, requiring attribution and share-alike.
ProBel 数据集详情
数据集概述
ProBel 是一个用于可解释性宣传检测的双语基准数据集，涵盖阿拉伯语和英语的新闻句子及社交媒体帖子。每个样本都标注了二元宣传标签、23种细粒度说服技巧（映射到6个粗粒度类别）、技巧标注的字符跨度以及输入语言对应的参考解释。
数据集规模与划分
| 语言 | 训练集 | 验证集 | 测试集 | 测试集宣传占比 |
|---|---|---|---|---|
| 阿拉伯语 | 18,453 | 1,318 | 1,326 | 61.3% |
| 英语 | 20,077 | 2,567 | 3,993 | 27.8% |
- 验证集对应
dev文件 - 英语训练集存在重复：20,077行中包含18,775条唯一文本
- 阿拉伯语划分与PropXplain一致，保证与先前工作的可比性；英语语料大幅扩展并引入新的开发/测试划分
标注体系
6个粗粒度类别（遵循SemEval-2023说服技巧分类法）：
- Manipulative_Wording
- Reputation
- Justification
- Simplification
- Call
- Distraction
细粒度技巧分布呈长尾分布，最常见的3种技巧覆盖了阿拉伯语94.8%和英语67.0%的宣传实例。
数据字段说明
| 字段 | 类型 | 含义 |
|---|---|---|
id |
str | 源派生标识符 |
text |
str | 句子/帖子内容 |
language, split |
str | 语言（arabic/english）和划分（train/dev/test） |
source_type, source_dataset |
str | 来源类型（news/tweet）及来源集合 |
binary |
bool | 是否标注了至少一种技巧 |
techniques |
list[str] | 细粒度技巧名称（23类标签体系） |
coarse_categories |
list[str] | 覆盖techniques的粗粒度类别 |
spans |
list[struct] | 每个标注跨度的 {technique, text, start, end} 结构 |
explanation |
str | 参考解释（使用输入语言） |
metadata |
struct | 来源信息（页面/推文ID、URL、日期） |
annotations |
struct | 原始嵌套布局中的相同标注 |
- 细粒度与粗粒度标签均由跨度推导而来，各标注层级在结构上保持一致
- 跨度偏移采用半开区间的码点位索引（
text[start:end]与跨度文本一致） - 跨度可能重叠，同一技巧可在同一句子中出现多次
数据来源
- 阿拉伯语：来自ArPro/PropXplain的新闻段落和推文，由训练有素的标注者按23种技巧分类法标注，并经专家裁定
- 英语：在PropXplain语料基础上扩展了97篇文章（来自42个来源的347篇文章），每篇文章由至少两位标注者标注并经过专家审核
- 解释文本：使用OpenAI o1从金标签、技巧和跨度生成，经人工评估验证（一致性0.89-0.95）
文件结构与格式
label_taxonomy.json：23种技巧到6个粗粒度类别的映射arabic/{train,dev,test}.jsonl：阿拉伯语数据english/{train,dev,test}.jsonl：英语数据
UTF-8编码，每行一个JSON对象，所有划分采用相同模式。
许可证
采用CC BY-NC-SA 4.0许可：允许非商业用途的共享和改编，需标注引用（引用论文）并保持相同许可。底层源文本和资源保留其原有条款。
注意事项
数据包含宣传性及可能冒犯性的新闻和社交媒体内容。原始数据来源中少量阿拉伯语推文的跨度偏移因表情符号/规范化问题出现偏差，已通过确定性方法重新对齐至精确文本，未改动任何标签、技巧、粗粒度类别或解释。
