X 2024 U.S. Presidential Election Dataset

X 2024 U.S. Presidential Election Dataset是由南加州大学HUMANS实验室创建的一个大规模数据集，旨在捕捉2024年美国大选期间Twitter/X上的公众讨论。该数据集包含从2024年5月1日至7月31日收集的2200万条公开推文，通过自定义的X-Scraper引擎进行数据采集。数据集内容丰富，包括推文文本、媒体附件、用户元数据等，旨在帮助研究人员分析社交媒体在塑造政治话语、传播选举相关叙事和打击虚假信息方面的作用。该数据集的应用领域广泛，主要用于研究社交媒体对选举的影响、公众情绪的演变以及政治人物在社交媒体上的影响力。

X 2024 U.S. Presidential Election Dataset is a large-scale dataset created by the HUMANS Lab at the University of Southern California, which aims to capture public discussions on Twitter/X during the 2024 U.S. Presidential Election. The dataset contains 22 million public Tweets collected from May 1 to July 31, 2024 via a custom-built X-Scraper engine. It covers rich content including Tweet texts, media attachments, user metadata and more, and is designed to help researchers analyze the role of social media in shaping political discourse, disseminating election-related narratives and combating disinformation. The dataset has a wide range of application scenarios, mainly used for research on the impact of social media on elections, the evolution of public sentiment, and the influence of political figures on social media.

原始信息汇总

USC X 24 US Election Twitter/X Dataset

数据集概述

• 数据集名称: USC X 24 US Election Twitter/X Dataset
• 数据内容: 包含与2024年美国大选相关的推文数据。
• 数据结构: 数据集分为多个目录，每个目录包含多个分块文件，每个分块文件包含50,000条推文。

数据集结构

usc-x-24-us-election/ ├── part_1/ │ ├── timeline_chunk_1.csv.gz │ ├── timeline_chunk_2.csv.gz │ └── ... ├── part_2/ │ ├── timeline_2_chunk_21.csv.gz │ ├── timeline_2_chunk_22.csv.gz │ └── ... ├── part_3/ │ ├── timeline_3_chunk_41.csv.gz │ ├── timeline_3_chunk_42.csv.gz │ └── ... └── ...

数据描述

• 每个目录: part_{part_number} 包含多个分块文件，文件名以时间线前缀命名。
• 每个分块文件: 包含50,000条与美国大选相关的推文。

数据模式

字段名称	数据类型	描述
id	object	每个条目的唯一标识符。
text	object	推文的文本内容。
url	object	与推文或内容相关的URL。
epoch	object	推文创建的时间戳。
media	object	推文中包含的媒体内容（图片、视频等）。
retweetedTweet	object	转推的推文内容（如果适用）。
retweetedTweetID	object	转推的推文ID。
retweetedUserID	object	原始推文用户的ID。
id_str	object	推文ID的字符串格式。
lang	object	推文内容的语言。
rawContent	object	推文的原始未处理文本。
replyCount	object	推文的回复数。
retweetCount	object	推文的转推数。
likeCount	object	推文的点赞数。
quoteCount	object	推文的引用数。
conversationId	object	推文所属对话的ID。
conversationIdStr	object	对话ID的字符串格式。
hashtags	object	推文中包含的标签。
mentionedUsers	object	推文中提到的用户。
links	object	推文中包含的外部链接。
viewCount	object	推文的浏览次数。
quotedTweet	object	引用的推文内容（如果适用）。
in_reply_to_screen_name	object	被回复用户的屏幕名称。
in_reply_to_status_id_str	object	被回复推文的ID字符串格式。
in_reply_to_user_id_str	object	被回复用户的ID字符串格式。
location	object	推文或用户的位置信息。
cash_app_handle	object	推文中提到的Cash App句柄（如果适用）。
user	object	用户信息或元数据。
date	object	推文的日期。
_type	object	推文类型（例如，原始推文、回复、转推）。
epoch_dt	datetime64[ns]	从时间戳派生的日期和时间。
user_id	float64	用户ID的浮点格式。

使用说明

• 用户可以导航到相关部分目录并读取分块文件以进行进一步分析。
• 数据结构允许用户以可管理的方式处理推文，便于处理大型数据集。

数据使用协议

• 该数据集根据Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International Public License (CC BY-NC-SA 4.0)授权。
• 使用该数据集时，用户需遵守许可证中的规定，并引用以下手稿：https://arxiv.org/abs/2411.00376

搜集汇总

数据集介绍

构建方式

该数据集通过自定义的X-Scraper引擎进行构建，该引擎专门设计用于从X.com（原Twitter）上系统地收集与2024年美国总统选举相关的公开数据。从2024年5月1日至7月31日，通过使用与关键政治人物、事件和新兴问题相关的目标关键词，数据收集与选举周期同步，以捕捉公众情绪的演变和社交媒体上的政治参与动态。X-Scraper不仅收集单个帖子，还提取用户界面交互数据，以深入理解用户行为和内容影响。

特点

该数据集包含2200万条公开帖子，涵盖了从帖子类型、内容、媒体到用户元数据等多个维度，提供了对社交媒体上政治讨论的全面视角。通过灵活的查询结构和关键词策略，数据集能够捕捉到选举周期内的重要事件和公众反应，为研究社交媒体在塑造政治话语、传播选举相关叙事和打击虚假信息方面的作用提供了坚实基础。

使用方法

研究人员可以通过访问数据集的GitHub仓库（https://github.com/sinking8/usc-x-24-us-election）获取数据，并利用数据集中的丰富元数据进行深入分析。数据集支持对选举期间社交媒体上的公众情绪、信息传播路径和关键人物影响力的研究。此外，数据集还提供了初步的分析结果，如高频关键词和热门话题标签，为研究者提供了初步的研究方向和参考。

背景与挑战

背景概述

在21世纪的政治舞台上，社交媒体已成为一股不可忽视的力量，尤其是X.com（原Twitter），其在塑造公众舆论和政治紧张局势中扮演着关键角色。由南加州大学HUMANS实验室的Ashwin Balasubramanian、Vito Zou、Hitesh Narayana、Christina You、Luca Luceri和Emilio Ferrara等研究人员主导的'2024 Election Integrity Initiative'项目，于2024年5月1日至7月31日期间，通过自建的X-Scraper引擎，收集了关于2024年美国总统选举的2200万条公开推文。该数据集不仅捕捉了选举周期内的公众情绪和政治参与的动态变化，还为研究社交媒体在塑造政治话语、传播选举相关叙事以及遏制虚假信息方面的作用提供了坚实基础。

当前挑战

构建'X 2024 U.S. Presidential Election Dataset'过程中面临多项挑战。首先，数据收集主要依赖于用户界面，可能无法全面覆盖所有相关推文。其次，X.com平台的界面更新偶尔会导致数据抓取的延迟。此外，关键词查询的限制使得每次抓取的数据量受限，需多次运行抓取程序以获取全面数据。最后，由于X.com的服务条款，抓取速率被限制在每小时约2300条推文。这些挑战不仅影响了数据集的完整性，也对后续分析的准确性和全面性提出了考验。

常用场景

经典使用场景

X 2024 U.S. Presidential Election Dataset 的经典使用场景在于分析社交媒体上的政治言论和公众情绪。通过收集和分析从2024年5月1日至7月31日的2200万条推文，研究人员可以深入探讨关键政治人物、事件和议题如何影响社交媒体上的政治讨论。该数据集特别适用于研究社交媒体在塑造政治话语、传播选举相关叙事以及扩散错误信息方面的作用。

实际应用

在实际应用中，X 2024 U.S. Presidential Election Dataset 可用于监测和分析选举期间的社交媒体活动，帮助政治竞选团队和政策制定者了解公众情绪和舆论趋势。此外，该数据集还可用于开发和测试新的算法和模型，以识别和应对社交媒体上的错误信息和恶意行为。通过这些应用，数据集有助于提升选举的透明度和公正性，确保选举过程的完整性。

衍生相关工作

X 2024 U.S. Presidential Election Dataset 的发布催生了多项相关研究工作，包括对社交媒体上政治言论的深度分析、选举期间错误信息的传播机制研究以及社交媒体用户行为的模式识别。此外，该数据集还激发了对跨平台协调性不实活动的研究，以及对生成式人工智能在在线选举干扰中潜在用途的探讨。这些衍生工作不仅丰富了社交媒体与政治互动的研究领域，还为未来的研究提供了新的方向和方法。