djstrong/8tags

8TAGS是一个波兰语的主题分类数据集，包含来自社交媒体帖子的标题。数据集包含约50,000个句子，标注有8个主题标签：电影、历史、食品、医学、机动化、工作、体育和技术。数据集是通过从波兰社交网站wykop.pl的文章标题和简短描述中提取句子自动创建的。数据集中的句子经过清理和分词处理，并且每个句子只标注了一个明确的类别，且长度超过30个字符。

8TAGS is a Polish thematic classification dataset comprising titles from social media posts. It contains approximately 50,000 sentences annotated with 8 thematic labels: film, history, food, medicine, motorization, work, sports, and technology. The dataset was automatically constructed by extracting sentences from article titles and short descriptions published on the Polish social networking platform wykop.pl. All sentences in the dataset have undergone cleaning and tokenization procedures, with each sentence assigned exactly one unambiguous category and a character count exceeding 30.

原始信息汇总

8TAGS 数据集概述

数据集摘要

8TAGS 是一个波兰语主题分类数据集，包含来自社交媒体帖子的标题。该数据集包含约 50,000 个句子，标注了 8 个主题标签：电影、历史、食物、医学、汽车、工作、体育和技术。此数据集是通过从波兰社交网络站点 wykop.pl 发布的文章标题和简短描述中提取句子自动创建的。该服务允许用户使用一个或多个标签（类别）标注文章。数据集代表了从 8 个流行类别中选择的文章内容句子。最终语料库包含经过清洗和标记的、明确的句子（仅标记为所选类别之一），且长度超过 30 个字符。

数据实例

示例实例： json { "sentence": "Kierowca był nieco zdziwiony że podróżując sporo ponad 200 km / h zatrzymali go policjanci.", "label": "4" }

数据字段

• sentence: 句子文本
• label: 对应于 8 个主题之一的标签标识符

数据集信息

• 语言: 波兰语
• 许可: CC BY-NC-SA 4.0
• 多语言性: 单语种
• 大小类别: 10K<n<100K
• 任务类别: 文本分类
• 任务标识: 主题分类、多类别分类
• 特征:
  • sentence: 字符串类型
  • label: 类别标签类型，包含以下名称：
    • 0: 电影
    • 1: 历史
    • 2: 食物
    • 3: 医学
    • 4: 汽车
    • 5: 工作
    • 6: 体育
    • 7: 技术
• 分割:
  • train: 40001 个样本，3765325 字节
  • validation: 5000 个样本，467676 字节
  • test: 4372 个样本，416311 字节

搜集汇总

数据集介绍

构建方式

在自然语言处理与文本分类的研究领域中，高质量标注数据集的构建是推动模型性能提升的关键。8TAGS数据集源自波兰社交平台wykop.pl，通过自动化流程从用户标注的文章标题与短描述中抽取句子构建而成。平台允许用户为文章添加一个或多个标签，研究者从中筛选出仅包含单一标签的句子，并聚焦于电影、历史、食品、医学、汽车、工作、体育及技术这八个热门主题类别。为确保数据质量，所有句子均经过清洗与分词处理，且长度超过30个字符，最终形成约五万条样本的语料库，划分为训练集（40001条）、验证集（5000条）与测试集（4372条）。

使用方法

8TAGS数据集主要面向文本分类与主题识别任务，可直接用于训练多类分类模型。使用时，用户需加载JSON格式的样本，其中‘sentence’字段为输入文本，‘label’字段为对应类别编号（0至7）。推荐采用预训练语言模型（如BERT）进行微调，或结合传统机器学习方法（如支持向量机）进行特征提取与分类。数据已按标准比例划分为训练、验证与测试集，便于直接进行模型训练与性能评估。研究者亦可将其作为波兰语自然语言理解任务的基准测试集，以衡量不同表示学习算法的泛化能力。

背景与挑战

背景概述

在自然语言处理领域，文本主题分类是信息检索与内容理解的核心任务之一，尤其对于资源匮乏的语言如波兰语而言，高质量的标注数据集更是推动相关研究的关键。由Sławomir Dadas、Michał Perełkiewicz和Rafał Poświata等研究人员于2020年创建的8TAGS数据集，正是为弥补波兰语主题分类语料不足而诞生的。该数据集从波兰社交新闻平台wykop.pl自动收集并筛选了约五万条新闻标题与简短描述，经过清洗、分词和去歧义处理，最终形成了涵盖电影、历史、食品、医学、汽车、工作、体育和技术八个类别的标注语料。这一工作的发表为波兰语文本分类研究提供了标准化基准，在低资源语言的自然语言处理领域产生了重要影响。

当前挑战

8TAGS数据集所解决的领域问题在于，波兰语作为中低资源语言，长期以来缺乏大规模、多类别且标注一致的主题分类数据集，这限制了相关监督学习模型的发展。在构建过程中，研究人员面临的主要挑战包括：从社交平台自动提取数据时，需处理用户标注标签的不一致性与噪音，确保每条句子仅对应一个明确类别；同时，原始文本包含大量口语化表达、不规则标点及短文本片段，需设计有效的清洗与筛选策略，仅保留长度超过30字符且语义完整的句子。此外，八个类别间的样本分布需保持相对均衡，以避免模型偏向高频类别，这要求对原始语料进行精细的类别采样与再平衡处理。

常用场景

经典使用场景

8TAGS数据集在波兰语自然语言处理领域具有重要地位，其经典使用场景集中于文本分类任务，特别是主题分类。该数据集由约5万条来自波兰社交平台wykop.pl的新闻标题与短描述构成，涵盖电影、历史、美食、医学、汽车、工作、体育和科技8个明确主题类别。研究者通常利用该数据集训练和评估多类别文本分类模型，旨在探索波兰语句子级别的语义表征能力。由于每条样本仅标注单一标签且长度超过30字符，数据集确保了分类任务的清晰性和可靠性，成为波兰语主题分类研究的基准资源。

解决学术问题

该数据集有效解决了波兰语缺乏高质量、大规模主题标注语料的学术难题。在8TAGS出现之前，波兰语文本分类研究常受限于数据稀疏和标签不均衡问题，导致模型泛化能力不足。通过提供约5万条经过清洗、分词且无歧义的句子，该数据集为评估句子表征方法（如词向量、BERT等预训练模型）在波兰语上的表现提供了标准化测试平台。其研究意义在于推动了低资源语言在自然语言理解领域的进展，尤其为斯拉夫语系中的文本分析任务奠定了数据基础。

实际应用

在实际应用中，8TAGS数据集可用于构建波兰语社交媒体内容自动分类系统，例如新闻聚合平台的主题筛选、舆情监控中的话题检测，以及广告投放的精准定向。基于该数据集训练的模型能够高效识别用户生成内容中的核心主题，从而优化信息检索效率。此外，在电子商务领域，该数据集可辅助商品评论的自动归类；在医疗健康场景中，则能快速筛选出与医学相关的讨论，支持公共卫生监测。其跨领域适用性凸显了数据集在波兰语信息处理中的实用价值。

数据集最近研究

最新研究方向

在自然语言处理领域，针对波兰语等低资源语言的文本分类研究正逐步升温。8TAGS数据集作为首个大规模波兰语社交媒体标题主题分类基准，汇聚了来自波兰社交平台wykop.pl的约5万条标注句子，覆盖电影、历史、食品、医学、汽车、工作、体育与科技八个前沿话题。该数据集的出现填补了波兰语多类别文本分类资源的空白，为评估句子表示学习、迁移学习及预训练语言模型（如HerBERT、Polish RoBERTa）在斯拉夫语系中的泛化能力提供了标准化测试床。近期研究聚焦于利用该数据集探索少样本学习与跨语言零样本迁移，其干净的标注与明确的类别边界使得模型在主题识别任务上的性能对比更加可靠。同时，随着社交媒体内容安全与信息过滤需求的激增，8TAGS为构建针对波兰语用户的精准内容分类系统奠定了重要基础，推动了中东欧语言处理技术的落地应用。