StephanAkkerman/stock-market-tweets-data

该数据集包含943,672条推文，收集于2020年4月9日至7月16日之间，使用了S&P 500标签（#SPX500）、S&P 500指数中前25家公司的引用以及Bloomberg标签（#stocks）。数据集的结构包括推文的发布时间（created_at）和推文文本（text）。此外，README还提到了用于搜索的Twitter标签，并指出有一个包含1,300条推文的标注数据集可用于情感分析。数据集适用于训练和评估机器学习模型，特别是用于理解市场趋势和投资者情感。

原始信息汇总

Stock Market Tweets Data

概述

该数据集与IEEE上的Stock Market Tweets Data相同，由Bruno Taborda提供。

数据描述

该数据集包含943,672条推文，收集于2020年4月9日至7月16日，使用S&P 500标签（#SPX500）、S&P 500指数中排名前25的公司的引用以及Bloomberg标签（#stocks）。

数据集结构

• created_at: 推文发布的准确时间。
• text: 推文文本，提供金融讨论的见解。

使用的标签

以下Twitter标签被用作搜索参数：#SPX500, #SP500, SPX500, SP500, $SPX, #stocks, $MSFT, $AAPL, $AMZN, $FB, $BBRK.B, $GOOG, $JNJ, $JPM, $V, $PG, $MA, $INTC $UNH, $BAC, $T, $HD, $XOM, $DIS, $VZ, $KO, $MRK, $CMCSA, $CVX, $PEP, $PFE。

标注数据集

包含1,300条推文的标注数据集可以在这里找到。

使用

该数据集适用于训练和评估用于情感分析的机器学习模型，特别是那些专注于理解市场趋势和投资者情绪的模型。它可用于学术研究、金融市场分析以及为金融机构开发AI工具。

许可证

该数据集根据CC BY 4.0许可证发布，遵守原始数据集的许可条款。

搜集汇总

数据集介绍

构建方式

在金融文本分析领域，社交媒体数据为洞察市场情绪提供了宝贵资源。该数据集源自IEEE DataPort上由Bruno Taborda发布的同名数据集，汇集了2020年4月9日至7月16日期间共计943,672条推文。数据采集策略聚焦于S&P 500指数标签（#SPX500）、彭博标签（#stocks）以及标普500指数中前25家公司的股票代码标签，如$MSFT、$AAPL、$AMZN等。每条记录包含推文发布的确切时间戳（created_at）和文本内容（text），为金融讨论的分析提供了结构化基础。

特点

该数据集具有鲜明的领域专属性与规模优势。其时间跨度覆盖2020年第二季度这一市场波动显著的时期，推文数量接近百万级，确保了统计分析的可靠性。标签体系涵盖指数级、行业级和个股级关键词，从宏观到微观多层次捕捉市场讨论。此外，数据集中还包含一个由1,300条人工标注情感标签的子集，为用户提供了验证模型性能的基准，进一步增强了其在情感分析任务中的实用价值。

使用方法

该数据集特别适用于训练和评估面向金融市场的情感分析模型。用户可直接加载推文文本与时间戳，构建时序情感指标或预测市场趋势。对于监督学习任务，可借助标注子集进行模型微调与评估；对于无监督探索，则可利用大规模未标注文本进行主题建模或词嵌入训练。数据集以CC BY 4.0许可发布，支持学术研究、金融分析及金融机构AI工具的开发，用户可通过HuggingFace平台便捷获取并使用。

背景与挑战

背景概述

在金融科技与自然语言处理交叉领域，社交媒体数据已成为洞察市场情绪的关键资源。由Bruno Taborda等研究人员于2020年创建的Stock Market Tweets Data数据集，收录了2020年4月9日至7月16日期间基于标准普尔500指数及其前25大成分公司标签、以及#stocks标签收集的943,672条推文。该数据集旨在解决金融文本情感分析中缺乏大规模、时效性强的标注语料这一核心问题，尤其聚焦于捕捉新冠疫情初期市场剧烈波动下的投资者情绪。其影响力体现在为训练机器学习模型预测市场趋势、开发金融智能工具提供了真实场景下的非结构化数据基础，成为连接社交媒体行为与量化金融分析的桥梁。

当前挑战

该数据集面临的核心挑战首先在于金融领域特有的情感歧义性——推文中包含的大量专业术语、俚语及讽刺表达，使得传统情感分类模型难以准确区分利好与利空信号。其次，数据时间跨度仅覆盖三个月，未能涵盖完整市场周期，可能导致模型对长期趋势的泛化能力不足。构建过程中，原始推文需经过去噪声处理以剔除广告和无关内容，但1300条标注样本的规模相对较小，难以支撑深度学习的鲁棒训练。此外，标签依赖特定公司列表（如$AAPL、$MSFT）和事件驱动主题，可能引入选择偏差，限制模型在其他市场情境下的迁移表现。

常用场景

经典使用场景

该数据集汇聚了2020年4月至7月间近百万条与标普500指数及其成分股相关的推文，是金融情绪分析领域的标志性语料库。研究者可基于推文时间戳与文本内容，构建监督学习模型以捕捉市场情绪波动，尤其在探讨社交媒体舆论与短期股价走势关联性时，该数据提供了高颗粒度的时序文本资源，成为训练金融领域预训练语言模型（如FinBERT）微调任务的理想选择。

解决学术问题

在学术研究中，该数据集有效回应了传统金融理论中投资者情绪难以量化的困境。通过大规模推文文本的语义分析，研究者得以实证检验行为金融学中“过度反应”与“羊群效应”等假说，并探索非结构化数据对资产定价模型的增量解释力。其标注子集（1300条情感标签）进一步为细粒度情感分类基准测试提供了跨领域验证平台，推动了自然语言处理与金融经济学的交叉创新。

衍生相关工作

该数据集催生了多项经典延伸工作，例如基于推文情感信号的波动率预测模型，以及融合社交网络拓扑结构的投资者情绪传播动力学研究。其标注子集被用于构建金融情感分析评估基准，催生了针对领域术语（如cashtag）的专用词嵌入方法。部分工作还将其与宏观经济指标结合，验证了社交媒体情绪作为经济先行指标的可行性，为另类数据在金融决策中的科学应用奠定了方法论基础。