reddit_dataset_51
收藏Bittensor Subnet 13 Reddit Dataset
数据集描述
- 仓库: StormKing99/reddit_dataset_51
- 子网: Bittensor Subnet 13
- 矿工热键: 5GP2ako3psZrRcsWvkqYBakm9VukHDQoZRohvjBoUgcRSmvY
数据集概述
该数据集是Bittensor Subnet 13去中心化网络的一部分，包含预处理的Reddit数据。数据由网络矿工持续更新，提供Reddit内容的实时流，适用于各种分析和机器学习任务。
支持的任务
该数据集的多功能性允许研究人员和数据科学家探索社交媒体动态的各个方面，并开发创新应用。用户可以利用这些数据进行以下任务：
- 情感分析
- 主题建模
- 社区分析
- 内容分类
语言
主要语言：数据集主要是英语，但由于去中心化的创建方式，可能包含多语言内容。
数据集结构
数据实例
每个实例代表一个Reddit帖子或评论，包含以下字段：
数据字段
text(字符串): Reddit帖子或评论的主要内容。label(字符串): 内容的情感或主题类别。dataType(字符串): 指示条目是帖子还是评论。communityName(字符串): 内容发布所在的subreddit名称。datetime(字符串): 内容发布或评论的日期。username_encoded(字符串): 为保护用户隐私而编码的用户名。url_encoded(字符串): 内容中包含的URL的编码版本。
数据分割
该数据集持续更新，没有固定的分割。用户应根据其需求和数据的时间戳创建自己的分割。
数据集创建
源数据
数据收集自Reddit上的公开帖子和评论，遵循平台的条款服务和API使用指南。
个人和敏感信息
所有用户名和URL均已编码以保护用户隐私。数据集不包含故意包含的个人或敏感信息。
使用数据的注意事项
社会影响和偏见
用户应注意Reddit数据中可能存在的偏见，包括人口统计和内容偏见。该数据集反映了Reddit上表达的内容和观点，不应被视为一般人口的代表性样本。
局限性
- 数据质量可能因媒体来源的性质而异。
- 数据集可能包含噪音、垃圾邮件或与社交媒体平台相关的无关内容。
- 由于实时收集方法，可能存在时间偏差。
- 数据集仅限于公开的subreddits，不包括私人或受限社区。
附加信息
许可信息
该数据集在MIT许可下发布。使用此数据集还需遵守Reddit的使用条款。
引用信息
如果您在研究中使用此数据集，请按如下方式引用：
@misc{StormKing992024datauniversereddit_dataset_51, title={The Data Universe Datasets: The finest collection of social media data the web has to offer}, author={StormKing99}, year={2024}, url={https://huggingface.co/datasets/StormKing99/reddit_dataset_51}, }
贡献
如需报告问题或贡献数据集，请联系矿工或使用Bittensor Subnet 13的治理机制。
数据集统计
- 总实例数: 37831399
- 日期范围: 2024-12-04T00:00:00Z 至 2024-12-12T00:00:00Z
- 最后更新: 2024-12-12T04:52:19Z
数据分布
- 帖子: 6.07%
- 评论: 93.93%
前10个subreddits
| 排名 | 主题 | 总数 | 百分比 |
|---|---|---|---|
| 1 | r/AskReddit | 328313 | 0.87% |
| 2 | r/AITAH | 162489 | 0.43% |
| 3 | r/CFB | 161970 | 0.43% |
| 4 | r/PathOfExile2 | 123536 | 0.33% |
| 5 | r/AmIOverreacting | 117293 | 0.31% |
| 6 | r/nfl | 113008 | 0.30% |
| 7 | r/news | 100222 | 0.26% |
| 8 | r/pics | 97206 | 0.26% |
| 9 | r/repost | 94709 | 0.25% |
| 10 | r/teenagers | 94640 | 0.25% |
更新历史
| 日期 | 新增实例 | 总实例数 |
|---|---|---|
| 2024-12-05T04:29:57Z | 1010436 | 1010436 |
| 2024-12-08T16:36:21Z | 17675219 | 18685655 |
| 2024-12-12T04:52:19Z | 19145744 | 37831399 |
