x_dataset_28

Bittensor子网13 X（Twitter）数据集是一个去中心化网络的一部分，包含来自X（前Twitter）的预处理公共推文数据，由网络矿工持续更新。该数据集支持多种任务，如情感分析、趋势检测和内容分析。数据主要以英语为主，但也可能是多语言的。为了保护用户隐私，用户名和URL被编码。该数据集根据MIT许可证发布，并受X的使用条款约束。

原始信息汇总

Bittensor Subnet 13 X (Twitter) Dataset 概述

数据集基本信息

• 许可证: MIT
• 多语言支持: 多语言
• 数据来源: 原始数据
• 任务类别:
  • 文本分类
  • 标记分类
  • 问答系统
  • 摘要生成
  • 文本生成
• 任务ID:
  • 情感分析
  • 主题分类
  • 命名实体识别
  • 语言建模
  • 文本评分
  • 多类分类
  • 多标签分类
  • 抽取式问答
  • 新闻文章摘要

数据集描述

• 仓库: gsjcm/x_dataset_28
• 子网: Bittensor Subnet 13
• 矿工热键: 5EX9Q4ZCuYDCBGcGiyFBDp6uCqqnhyUcyfmoRzEvRzujzwxk

数据集摘要

该数据集是Bittensor Subnet 13去中心化网络的一部分，包含来自X（前Twitter）的预处理数据。数据由网络矿工持续更新，提供实时推文流，适用于各种分析和机器学习任务。

支持的任务

• 情感分析
• 趋势检测
• 内容分析
• 用户行为建模

语言

主要语言为英语，但由于去中心化的创建方式，可能包含多语言数据。

数据结构

数据实例

每个实例代表一条推文，包含以下字段：

• text (字符串): 推文的主要内容。
• label (字符串): 推文的情感或主题类别。
• tweet_hashtags (列表): 推文中使用的标签列表。可能为空。
• datetime (字符串): 推文发布的日期。
• username_encoded (字符串): 用户名的编码版本，以保护用户隐私。
• url_encoded (字符串): 推文中包含的URL的编码版本。可能为空。

数据分割

数据集持续更新，没有固定的分割。用户应根据自己的需求和数据的时戳创建分割。

数据集创建

源数据

数据来自X（Twitter）上的公开推文，遵循平台的服务条款和API使用指南。

个人和敏感信息

所有用户名和URL均经过编码以保护用户隐私。数据集不包含个人或敏感信息。

使用注意事项

社会影响和偏见

用户应注意X（Twitter）数据中潜在的偏见，包括人口统计和内容偏见。该数据集反映了X上的内容和观点，不应视为一般人群的代表性样本。

限制

• 数据质量可能因去中心化的收集和预处理方式而有所不同。
• 数据集可能包含社交媒体平台常见的噪声、垃圾信息或无关内容。
• 由于实时收集方法，可能存在时间偏差。
• 数据集仅限于公开推文，不包含私人账户或直接消息。
• 并非所有推文都包含标签或URL。

附加信息

许可信息

数据集根据MIT许可证发布。使用该数据集还需遵守X的使用条款。

引用信息

@misc{gsjcm2025datauniversex_dataset_28, title={The Data Universe Datasets: The finest collection of social media data the web has to offer}, author={gsjcm}, year={2025}, url={https://huggingface.co/datasets/gsjcm/x_dataset_28}, }

贡献

如需报告问题或贡献数据集，请联系矿工或使用Bittensor Subnet 13治理机制。

数据集统计

• 总实例数: 2782935
• 日期范围: 2025-06-10T00:00:00Z 至 2025-06-15T00:00:00Z
• 最后更新时间: 2025-07-15T16:15:34Z

数据分布

• 带标签的推文: 17.80%
• 无标签的推文: 82.20%

前10标签

排名	主题	总数	百分比
1	NULL	1946472	79.71%
2	#riyadh	91721	3.76%
3	#whalestorexoxo	22052	0.90%
4	#tiktok	18970	0.78%
5	#pr	13469	0.55%
6	#smackdown	13346	0.55%
7	#ad	13192	0.54%
8	#仮面ライダーガヴ	11797	0.48%
9	#loveislandusa	10656	0.44%
10	#wweraw	10384	0.43%

更新历史

日期	新实例	总实例
2025-07-10T10:16:49Z	341038	341038
2025-07-10T10:17:18Z	307631	648669
2025-07-11T04:18:16Z	289073	937742
2025-07-11T22:05:51Z	289073	1226815
2025-07-12T15:18:07Z	291428	1518243
2025-07-13T09:19:29Z	299863	1818106
2025-07-14T04:07:07Z	314074	2132180
2025-07-14T22:12:02Z	314074	2446254
2025-07-15T16:15:34Z	336681	2782935

搜集汇总

数据集介绍

构建方式

在社交媒体分析领域，x_dataset_28依托Bittensor Subnet 13去中心化网络构建，通过分布式矿工实时采集并预处理X平台公开推文数据。数据收集严格遵守平台服务条款与API使用规范，所有用户名与URL均经过编码处理以保障用户隐私，原始数据持续更新且未包含固定划分，需用户根据时间戳自定义分割。

特点

该数据集涵盖超过3394万条多语言推文实例，每条数据包含文本内容、情感标签、主题分类、哈希标签列表及时间戳等结构化字段。其显著特征在于实时动态更新机制与去中心化采集模式，同时保留了社交媒体数据固有的时空分布特性与内容多样性，但需注意可能存在平台特有的内容偏差与噪声干扰。

使用方法

研究者可借助该数据集开展情感分析、趋势检测、用户行为建模等多维度自然语言处理任务。使用时应基于时间戳自主划分训练验证集，并充分考虑数据采集时段的分布特性。需注意遵守MIT许可协议及X平台使用条款，建议通过统计文件分析数据分布特征以优化模型训练策略。

背景与挑战

背景概述

社交媒体的兴起催生了海量文本数据的产生，为自然语言处理研究提供了丰富资源。x_dataset_28数据集由Macrocosm机构于2025年通过Bittensor子网13构建，依托去中心化网络架构实时采集X平台公开推文。该数据集聚焦多任务自然语言处理，涵盖文本分类、命名实体识别、问答系统等核心研究方向，为社交媒体分析提供了大规模、多模态的基础数据支撑，显著推动了社交网络计算语言学的发展进程。

当前挑战

该数据集需解决社交媒体文本的动态性、多语言混杂及噪声干扰等核心问题，其构建面临三重挑战：首先，去中心化采集机制导致数据质量波动，需设计高效清洗流程；其次，用户隐私保护要求对原始数据进行编码处理，增加了特征提取复杂度；最后，实时数据流引入时空偏差，要求算法具备动态适应能力。这些挑战共同构成了社交媒体数据分析的技术瓶颈。

常用场景

经典使用场景

在社交媒体分析领域，x_dataset_28数据集为研究者提供了丰富的X平台推文数据，支持情感分析、主题分类和命名实体识别等经典任务。通过实时更新的数据流，研究者能够捕捉社会舆论的动态变化，分析公众对热点事件的情感倾向，以及识别推文中的关键实体和话题标签。

解决学术问题

该数据集解决了社交媒体研究中数据实时性和多样性的挑战，为情感分析、趋势检测和用户行为建模提供了可靠的数据基础。其多语言特性支持跨文化比较研究，而匿名化处理保障了用户隐私，推动了符合伦理的社交媒体数据分析范式的建立。

衍生相关工作

基于该数据集衍生的经典工作包括实时情感分析系统、多语言命名实体识别模型以及社交网络传播动力学研究。这些成果不仅推动了自然语言处理技术的发展，还为社交媒体计算社会科学研究提供了重要数据支撑。