corona-tweet/dutch_social

该数据集包含约271,342条推文，这些推文通过Twitter API过滤，主要包含荷兰语或用户指定位置在荷兰地理边界内的推文。数据集的目标是以FAIR（可查找、可访问、可互操作、可重用）的方式公开研究数据。数据集支持的任务包括情感分析、多标签分类和实体提取。数据集的结构包括数据实例、数据字段和数据分割。数据集的创建过程涉及通过Twitter API获取推文，并使用自然语言处理技术对推文进行分类。数据集的使用注意事项包括未进行匿名化处理，可能包含用户的个人和敏感信息。

The dataset contains around 271,342 tweets, primarily from Twitter users within the Netherlands or those tweeting in Dutch. The tweets are filtered via the official Twitter API to include user location information and tweets within Dutch geographical boundaries. Using natural language processing techniques, the tweets have been classified for HISCO codes and sentiment analysis. The dataset aims to make research data publicly available in a FAIR (Findable, Accessible, Interoperable, Reusable) manner, under Twitters Terms of Service and CC BY-NC 4.0 license.

原始信息汇总

数据集概述

数据集基本信息

• 数据集名称: Dutch Social Media Collection
• 语言: 英语 (en) 和荷兰语 (nl)
• 许可证: CC BY-NC 4.0
• 多语言性: 多语言
• 数据集大小: 100K<n<1M
• 源数据: 原始数据
• 任务类别: 文本分类
• 任务ID: 情感分类、多标签分类

数据集结构

特征字段

• full_text: 推文的原始文本 (string)
• text_translation: 文本的英文翻译 (string)
• screen_name: 推文作者的用户名 (string)
• description: 用户简介 (string)
• desc_translation: 用户简介的英文翻译 (string)
• location: 用户提供的位置信息 (string)
• weekofyear: 年中的第几周 (int64)
• weekday: 星期几 (int64)
• month: 月份 (int64)
• year: 年份 (int64)
• day: 日期 (int64)
• point_info: 位置信息 (string)
• point: 经纬度和海拔信息 (string)
• latitude: 纬度 (float64)
• longitude: 经度 (float64)
• altitude: 海拔 (float64)
• province: 省份 (string)
• hisco_standard: HISCO标准关键词 (string)
• hisco_code: HISCO标准代码 (string)
• industry: 是否涉及行业 (bool)
• sentiment_pattern: 情感模式 (float64)
• subjective_pattern: 主观模式 (float64)
• label: 标签 (class_label)

数据分割

• 训练集: 162805个样本，105569586字节
• 测试集: 54268个样本，35185351字节
• 验证集: 54269个样本，34334756字节

数据集创建

数据来源

• 数据收集和规范化: 通过Twitter API获取并筛选出荷兰语推文或用户位置在荷兰的推文。
• 语言生产者: 荷兰地区的Twitter用户或使用荷兰语的Twitter用户。

标注

• 标注内容: 使用自然语言处理对推文进行行业和HISCO代码分类，并根据用户位置添加省份信息。同时对推文进行情感和主观性评分。
• 情感评分范围: -1到+1
• 主观性评分范围: 0到1

使用注意事项

• 个人和敏感信息: 数据集中可能包含用户的个人和敏感信息，目前未进行匿名化处理。
• 数据集用途: 仅供研究使用，请查看数据集许可证获取更多信息。