X-Topic
收藏资源简介：
X-Topic是由卡迪夫大学创建的多语言推文主题分类数据集，涵盖英语、西班牙语、日语和希腊语四种语言。该数据集包含4000条推文，每条推文被标记为19个预定义主题中的一个或多个，旨在解决社交媒体中多语言内容分类的挑战。数据集的创建过程包括推文收集、预处理和多轮人工标注，确保了数据的质量和多样性。X-Topic主要应用于跨语言分析、多语言模型开发和在线对话研究，为研究人员提供了一个宝贵的资源。
X-Topic is a multilingual tweet topic classification dataset developed by Cardiff University. It covers four languages including English, Spanish, Japanese and Greek, and contains 4000 tweets in total. Each tweet is labeled with one or more of 19 pre-defined topics, aiming to address the challenges of multilingual content classification on social media. The dataset is constructed through tweet collection, preprocessing and multiple rounds of manual annotation, which ensures the data quality and diversity. X-Topic is mainly applied in cross-lingual analysis, multilingual model development and online conversation research, providing a valuable resource for researchers.
数据集卡片：cardiffnlp/tweet_topic_multilingual
数据集描述
- 数据集名称: X-Topic
- 领域: X (Twitter)
- 类别数量: 19
数据集概述
X-Topic 是一个基于 X（前 Twitter）的多语言主题分类数据集，包含 19 个主题标签。该数据集的任务是多标签分类，推文可用四种语言：英语、日语、西班牙语和希腊语。数据集包含 4,000 条推文（每种语言 1,000 条），收集于 2021 年 9 月至 2022 年 8 月之间。该数据集使用与 TweetTopic 相同的分类法。
数据集结构
数据分割
数据集包括以下分割：
- en: 英语
- es: 西班牙语
- ja: 日语
- gr: 希腊语
- en_2022: 2022 年的英语数据（TweetTopic）
- mix: 混合语言数据
- mix_2022: 包含 2022 年 TweetTopic 的混合语言数据
- 交叉验证分割:
- en_cross_validation_0 至 en_cross_validation_4: 英语交叉验证分割
- es_cross_validation_0 至 es_cross_validation_4: 西班牙语交叉验证分割
- ja_cross_validation_0 至 ja_cross_validation_4: 日语交叉验证分割
- gr_cross_validation_0 至 gr_cross_validation_4: 希腊语交叉验证分割
数据实例
train 的一个示例如下：
python
{
"id": 1470030676816797696,
"text": "made a matcha latte, black tea and green juice until i break my fast at 1!! my body and skin are thanking me",
"label": [0, 0, 0, 1, 0, 0, 0, 1, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0],
"label_name": ["Diaries & Daily Life", "Fitness & Health", "Food & Dining"],
"label_name_flatten": "Diaries & Daily Life, Fitness & Health, Food & Dining"
}
标签
| 0: arts_&_culture | 5: fashion_&_style | 10: learning_&_educational | 15: science_&_technology |
|---|---|---|---|
| 1: business_&_entrepreneurs | 6: film_tv_&_video | 11: music | 16: sports |
| 2: celebrity_&_pop_culture | 7: fitness_&_health | 12: news_&_social_concern | 17: travel_&_adventure |
| 3: diaries_&_daily_life | 8: food_&_dining | 13: other_hobbies | 18: youth_&_student_life |
| 4: family | 9: gaming | 14: relationships |
英语的标注说明可以在 这里 找到。
引用信息
TBA
- 1Multilingual Topic Classification in X: Dataset and Analysis卡迪夫大学 · 2024年
