community-datasets/urdu_fake_news

该数据集名为Bend the Truth (Urdu Fake News)，主要用于乌尔都语的假新闻检测任务。数据集包含两个主要字段：news（新闻内容，乌尔都语字符串）和label（标签，表示新闻是真实的还是虚假的）。此外，数据集还包含一个category字段，用于表示新闻的类别，包括体育、健康、技术、娱乐和商业五个类别。数据集分为训练集和测试集，训练集包含638个样本，测试集包含262个样本。数据集的创建和标注由专家完成。This dataset, named Bend the Truth (Urdu Fake News), is primarily designed for Urdu fake news detection tasks. It includes two core fields: `news` (the news content, an Urdu string) and `label` (a tag indicating whether the news is real or fake). Additionally, the dataset features a `category` field that specifies the news category, encompassing five types: sports, health, technology, entertainment, and business. The dataset is split into training and test subsets, with 638 samples in the training set and 262 samples in the test set. The creation and annotation of this dataset were completed by experts.

原始信息汇总

数据集卡片：Bend the Truth (Urdu Fake News)

数据集描述

数据集摘要

• annotations_creators: expert-generated
• language_creators: expert-generated
• language: ur
• license: unknown
• multilinguality: monolingual
• size_categories: n<1K
• source_datasets: original
• task_categories: text-classification
• task_ids: fact-checking, intent-classification
• pretty_name: Bend the Truth (Urdu Fake News)

数据集结构

数据字段

• news: 一个乌尔都语字符串
• label: 指示提供的新闻是真实还是虚假的标签
  • 0: Fake
  • 1: Real
• category: 新闻的意图类别
  • 0: bus (Business)
  • 1: hlth (Health)
  • 2: sp (Sports)
  • 3: tch (Technology)
  • 4: sbz (Entertainment)

数据分割

• train:
  • num_bytes: 1762905
  • num_examples: 638
• test:
  • num_bytes: 799587
  • num_examples: 262

数据集大小

• download_size: 1042653
• dataset_size: 2562492

搜集汇总

数据集介绍

构建方式

在虚假新闻检测与事实核查这一重要研究领域，乌尔都语作为南亚广泛使用的语言，其相关数据集却较为稀缺。为填补这一空白，研究者构建了“Bend the Truth”乌尔都语虚假新闻数据集。该数据集由领域专家精心标注，所有新闻文本均源自原始收集，确保了数据的真实性与可靠性。数据集共包含900条样本，其中训练集638条、测试集262条，每条样本涵盖新闻文本、真假标签及新闻类别三个字段。标签为二分类，即“Fake”与“Real”；类别则细分为商业、健康、体育、科技与娱乐五类，体现了多维度的信息组织逻辑。

使用方法

使用该数据集时，研究者可通过Hugging Face Datasets库直接加载默认配置，其中训练集与测试集已预先划分完毕。数据加载后，每条样本包含“news”字段（乌尔都语新闻文本）、“label”字段（真假标签）及“category”字段（新闻类别）。适用于文本分类、虚假新闻检测及多标签分类等任务。研究者可直接将文本输入预训练语言模型或传统机器学习模型进行训练与评估，也可基于类别字段探索新闻意图与真实性之间的关联分析。

背景与挑战

背景概述

在社交媒体与数字新闻泛滥的时代，虚假信息的识别已成为自然语言处理领域的关键挑战，尤其对于资源稀缺的语言如乌尔都语而言，相关研究仍处于起步阶段。由Maaz Amjad等研究人员于2020年左右创建的“Bend the Truth”数据集，旨在填补这一空白，专注于乌尔都语虚假新闻的分类任务。该数据集包含900条经过专家标注的新闻样本，涵盖体育、健康、科技、娱乐和商业五大类别，每条新闻被标记为真实或虚假。其核心研究问题在于探索低资源语言中事实核查的可行性，为乌尔都语社区提供可靠的信息验证基准。作为首个针对乌尔都语的虚假新闻数据集，它推动了多语言假新闻检测领域的发展，并为后续研究提供了基础资源。

当前挑战

当前该数据集面临多重挑战。首先，在领域问题层面，乌尔都语复杂的形态学特征和缺乏大规模预训练语言模型，使得基于该数据集的假新闻检测模型难以达到高精度，且类别不平衡（如科技类样本仅占少量）进一步加剧了分类难度。其次，构建过程中，数据收集受限于乌尔都语新闻源的稀少性，仅从少数网站爬取文本，可能导致领域偏差；标注环节依赖专家人工判断，但不同专家对“虚假”的定义可能存在主观性，且样本量不足900条，难以覆盖多样化的虚假信息模式。此外，缺乏多源验证和跨时间维度的更新机制，限制了数据集在动态新闻环境中的实用性。

常用场景

经典使用场景

在自然语言处理与社交媒体分析的交汇领域，urdu_fake_news数据集作为乌尔都语虚假新闻检测的基准资源，其经典使用场景聚焦于文本二分类任务——即区分新闻的真实性与虚假性。该数据集包含900条标注样本，每条样本均标注了‘Fake’或‘Real’标签，并额外附带了商业、健康、体育、科技与娱乐五类意图分类信息。研究者可借此构建并评估基于深度学习的虚假新闻识别模型，例如利用预训练语言模型（如BERT的乌尔都语变体）进行微调，以捕捉乌尔都语中特有的语义与句法特征。这一场景不仅验证了模型对低资源语言的泛化能力，也为跨语言虚假信息检测提供了重要的实验基础。

解决学术问题

该数据集直面的核心学术问题是乌尔都语虚假新闻检测中标注数据稀缺与领域适配性不足的困境。在低资源语言背景下，多数虚假新闻研究集中于英语等高资源语言，导致乌尔都语相关模型缺乏可靠训练基准。urdu_fake_news通过提供专家标注的原创数据集，填补了这一空白，使研究者能够系统性地探究虚假新闻在不同主题类别（如健康、技术）中的分布规律与语言特征。其意义在于推动了多语言虚假信息检测的学术前沿，促使学界关注语言多样性在社交媒体治理中的关键作用，并为对比不同语言间的虚假传播模式提供了量化工具。

实际应用

在实际应用层面，urdu_fake_news数据集可部署于乌尔都语社交媒体的内容审核系统，用于实时识别并标记可疑新闻。例如，新闻聚合平台或社交媒体公司可基于此数据集训练分类器，自动过滤健康谣言或技术诈骗信息，从而减轻人工审核负担。此外，该数据集还可服务于巴基斯坦、印度等乌尔都语使用地区的新闻机构，辅助其校验信息来源真实性，遏制虚假信息在公共卫生事件或政治选举中的扩散。其影响力延伸至数字素养教育领域，为开发面向乌尔都语用户的虚假新闻检测工具提供了底层数据支撑。

数据集最近研究

最新研究方向

在全球化信息传播与社交媒体深度融合的当下，虚假新闻的识别已成为自然语言处理领域的关键课题。针对低资源语言如乌尔都语的虚假新闻检测研究，正逐渐成为前沿热点。该数据集聚焦于乌尔都语新闻的真实性分类，涵盖体育、健康、科技、娱乐和商业五类意图，为跨领域虚假信息识别提供了宝贵的标注资源。当前研究方向主要围绕多模态语义融合、小样本学习以及跨语言迁移技术展开，旨在提升模型在数据稀疏环境下的鲁棒性与泛化能力。这一工作不仅推动了南亚地区语言技术的研究进展，也为构建更公平、包容的全球虚假信息治理体系奠定了重要基础。