reddit_dataset_90

Bittensor Subnet 13 Reddit数据集是Bittensor子网13的一部分，包含预处理后的Reddit数据，支持多种自然语言处理任务，如情感分析、主题建模、社区分析、内容分类等。数据集主要包含英语数据，但也可能是多语言的。数据集不断更新，用户需根据时间戳自行创建数据分割。所有个人和敏感信息都经过编码处理。

原始信息汇总

数据集概述

基本信息

• 数据集名称: Bittensor Subnet 13 Reddit Dataset
• 存储库: goldentraversy07/reddit_dataset_90
• 许可证: MIT
• 多语言支持: 多语言（主要为英语）
• 来源数据集: 原始数据
• 子网: Bittensor Subnet 13
• 矿工热键: 5FyJ5ZV5GuaeV3EAkcgcHkvw1C625enSv5Vv6fseC2jAhQ7M

任务支持

• 任务类别:
  • 文本分类
  • 标记分类
  • 问答
  • 摘要
  • 文本生成
• 具体任务:
  • 情感分析
  • 主题分类
  • 命名实体识别
  • 语言建模
  • 文本评分
  • 多类分类
  • 多标签分类
  • 提取式问答
  • 新闻文章摘要

数据集描述

• 数据集总结: 包含预处理的Reddit数据，持续更新，适用于各种分析和机器学习任务。
• 示例任务:
  • 情感分析
  • 主题建模
  • 社区分析
  • 内容分类

数据集结构

• 数据实例: 每个实例代表一个Reddit帖子或评论。
• 数据字段:
  • text (字符串): 帖子或评论的主要内容。
  • label (字符串): 内容的情感或主题类别。
  • dataType (字符串): 指示条目是帖子还是评论。
  • communityName (字符串): 发布内容的子版块名称。
  • datetime (字符串): 内容发布或评论的日期。
  • username_encoded (字符串): 用户名的编码版本。
  • url_encoded (字符串): 内容中包含的URL的编码版本。
• 数据分割: 数据集持续更新，无固定分割。

数据集创建

• 源数据: 来自Reddit的公开帖子和评论，遵守平台的服务条款和API使用指南。
• 隐私保护: 所有用户名和URL均经过编码处理。

使用注意事项

• 社会影响和偏见: 数据集可能包含Reddit特有的偏见。
• 局限性:
  • 数据质量可能因来源不同而有所差异。
  • 可能包含噪音、垃圾或无关内容。
  • 可能存在时间偏差。
  • 仅包含公开子版块。

附加信息

• 引用信息: bibtex @misc{goldentraversy072025datauniversereddit_dataset_90, title={The Data Universe Datasets: The finest collection of social media data the web has to offer}, author={goldentraversy07}, year={2025}, url={https://huggingface.co/datasets/goldentraversy07/reddit_dataset_90}, }

• 贡献: 通过Bittensor Subnet 13治理机制或联系矿工报告问题或贡献。

数据集统计

• 总实例数: 848582
• 日期范围: 2019-07-24T00:00:00Z 至 2025-04-28T00:00:00Z
• 最后更新时间: 2025-05-04T20:19:14Z
• 数据分布:
  • 帖子: 6.76%
  • 评论: 93.24%

热门子版块（前10）

排名	主题	总数	百分比
1	r/wallstreetbets	52369	6.17%
2	r/ProfessorMemeology	37171	4.38%
3	r/europe	33895	3.99%
4	r/politics	31490	3.71%
5	r/neoliberal	31340	3.69%
6	r/canada	29334	3.46%
7	r/AITAH	26653	3.14%
8	r/worldnews	25423	3.00%
9	r/AmIOverreacting	24460	2.88%
10	r/NoStupidQuestions	24305	2.86%

更新历史

日期	新增实例	总实例
2025-04-25T22:00:57Z	164110	164110
2025-04-26T16:31:22Z	134747	298857
2025-05-04T15:42:19Z	549722	848579
2025-05-04T17:14:34Z	1	848580
2025-05-04T18:46:50Z	1	848581
2025-05-04T20:19:14Z	1	848582

搜集汇总

数据集介绍

构建方式

该数据集依托Bittensor Subnet 13去中心化网络构建，通过分布式矿工实时采集并预处理Reddit公开帖文与评论数据。数据采集严格遵循平台服务条款及API使用规范，采用用户名与URL编码技术保障用户隐私，原始文本经清洗后结构化存储为包含文本内容、情感标签、社区分类等七类字段的标准格式。时间跨度覆盖2019至2025年的动态数据流，采用MIT许可协议确保研究合规性。

特点

数据集呈现显著的多模态特性，包含84万余条以英文为主的社交媒体交互记录，其中评论占比高达93.24%。其独特价值在于实时更新的动态架构，以及涵盖wallstreetbets等头部社区的多样化内容分布。数据字段设计兼顾语义分析与隐私保护，通过编码处理敏感信息的同时保留社区归属、时间戳等关键元数据，为研究网络社群演化提供丰富维度。

使用方法

研究者可通过HuggingFace平台直接加载数据集，建议按时间戳划分训练验证集以应对动态更新特性。该数据适用于情感分析、话题建模等NLP任务，使用时应考虑社交媒体的固有偏差，通过子社区过滤或时间窗口采样提升数据质量。引用需遵循MIT许可并注明原始数据来源，持续更新机制要求用户定期校验数据版本。

背景与挑战

背景概述

reddit_dataset_90数据集由Bittensor Subnet 13分布式网络于2025年创建，旨在提供实时更新的Reddit社交媒体内容，为自然语言处理任务提供丰富的数据支持。该数据集由macrocosm-os团队主导开发，通过去中心化的方式持续收集和预处理Reddit公开帖文与评论，涵盖情感分析、主题建模、社区分析等多种研究场景。作为分布式数据生态系统的组成部分，该数据集体现了去中心化数据采集的创新模式，为社交媒体的动态分析和机器学习应用提供了新的可能性。

当前挑战

该数据集面临多维度挑战：在领域问题层面，社交媒体数据的动态性和多样性使得情感分类、主题识别等任务面临语境复杂性和语义模糊性的挑战；在构建过程中，去中心化采集机制导致数据质量参差不齐，存在噪声干扰和样本不平衡问题。同时，隐私保护要求对用户信息进行编码处理，可能影响部分研究场景的数据可用性。此外，实时更新特性带来了数据分布随时间漂移的挑战，要求模型具备持续学习能力。数据集还受到Reddit平台内容偏好的影响，可能存在特定社区过度代表的问题。

常用场景

经典使用场景

在社交媒体分析领域，reddit_dataset_90数据集以其丰富的文本内容和多样化的子论坛分布，成为研究在线社区行为和社会动态的宝贵资源。该数据集广泛应用于情感分析、主题建模和社区分析等任务，帮助研究人员深入理解用户生成内容的复杂性和多样性。

衍生相关工作

基于该数据集，研究者开发了多个创新的自然语言处理模型，如针对社交媒体文本优化的情感分析算法和话题检测系统。在去中心化网络研究领域，该数据集也促进了基于区块链的数据共享和激励机制探索，衍生出多个关于数据质量评估和贡献者奖励机制的研究工作。

数据集最近研究

最新研究方向

在社交媒体的动态分析领域，reddit_dataset_90数据集因其丰富的多语言内容和实时更新的特性，成为研究热点。当前研究聚焦于利用该数据集进行情感分析和主题建模，特别是在金融和政治社区（如r/wallstreetbets和r/politics）中的舆论趋势预测。此外，结合去中心化网络技术，该数据集在探索社区行为模式和内容生成机制方面展现出独特优势。其广泛的时间跨度和多样化的子论坛分布，为研究社交媒体中的文化差异和群体动态提供了宝贵资源。