TWikiL

TWikiL数据集由奥尔堡大学哥本哈根通信与心理学系创建，包含了2006年至2021年间所有在Twitter上发布的Wikipedia链接。该数据集不仅记录了链接，还通过Wikidata标识符和Wikipedia主题类别丰富了引用文章的信息。TWikiL数据集分为原始版和精选版，原始版包含所有Wikipedia链接的Tweet ID，而精选版则进一步筛选，只包含指向Wikipedia文章页面的链接。此数据集对于研究Wikipedia与Twitter之间的相互关系、信息传播模式以及社会媒体中的信息生态具有重要价值，尤其适用于分析历史数据和跨文化研究。The TWikiL dataset was created by the Department of Communication and Psychology at Aalborg University Copenhagen, and contains all Wikipedia links shared on Twitter between 2006 and 2021. In addition to recording the links themselves, the dataset enriches the information of the cited articles using Wikidata identifiers and Wikipedia topic categories. The TWikiL dataset is divided into a raw version and a curated version: the raw version includes the Tweet IDs of all Wikipedia links, while the curated version undergoes further filtering to only retain links to Wikipedia article pages. This dataset holds substantial scholarly value for researching the mutual relationship between Wikipedia and Twitter, information dissemination patterns, and the information ecology of social media, and is particularly well-suited for historical data analysis and cross-cultural research.

搜集汇总

数据集介绍

构建方式

在数字生态系统中，维基百科与社交媒体平台之间的相互依存关系日益受到学界关注。为深入探究这一动态关联，研究者利用Twitter学术研究API权限，通过搜索包含wikipedia.org域名链接且非转发的原始推文，从2006年至2021年1月间，收集了约4495万条推文，构成TWikiL原始数据集。随后，对链接进行URL扩展、重定向解析及编码处理，并借助维基数据SPARQL查询服务，为每条指向维基百科条目的链接匹配对应的维基数据标识符与主题分类，最终形成包含35,252,782条记录的TWikiL精选版SQLite数据库。

特点

该数据集的核心特色在于其历史纵深与结构化丰富性。TWikiL跨越Twitter诞生至今的十五年历程，完整收录了所有带有维基百科链接的推文，并提供了原始与精选两种版本。精选版不仅包含推文元数据（如时间戳、作者标识、对话线程、语言及互动指数），更通过维基数据标识符与主题分类（如文化、STEM、地理等）对链接条目进行语义增强，使每条推文与维基百科知识体系深度关联。这种设计使研究者能够从时间、语言、主题等多维度剖析维基百科内容在Twitter上的传播模式与演化轨迹。

使用方法

TWikiL的使用方式灵活多样，适用于跨学科研究场景。研究者可直接利用精选版SQLite数据库进行统计分析，例如探究推文中维基百科链接的语种分布、主题偏好及时间趋势；也可通过推文标识符调用Twitter API恢复完整推文对象，深入分析对话语境。此外，数据集内置的维基数据标识符便于与其他维基媒体数据集（如页面浏览量统计、文化多样性数据）进行关联整合，从而研究知识传播中的偏见扩散、事实核查行为或网络历史演变。配套的R语言示例代码更降低了使用门槛，助力学者快速开展实证分析。

背景与挑战

背景概述

在当今数字生态系统中，维基百科作为全球最大的知识库，与各类社交平台形成了紧密的相互依存关系。然而，现有研究多局限于对单一平台的孤立分析，缺乏能够揭示维基百科与社交媒体之间动态关联的公开数据集。为填补这一空白，奥尔堡大学的研究人员Florian Meier于2022年构建了TWikiL数据集，系统收录了2006年至2021年1月间所有发布于推特并包含维基百科链接的推文。该数据集不仅涵盖了原始推文标识符，还通过维基数据标识符和主题分类对引用的维基百科文章进行了语义增强，为研究两大平台间的信息流动、内容复用及历史演变提供了前所未有的数据基础。TWikiL的发布极大地推动了网络信息生态学、数字人文及社交媒体历史等领域的研究，成为连接维基百科与推特交叉研究的标杆性资源。

当前挑战

TWikiL数据集在构建与使用中面临多重挑战。首先，推文中URL的提取与扩展存在技术难点，如缺失协议头、字符断裂或缺少空格导致的URL残缺，以及用户使用第三方短链接服务后需额外解析，部分失效的短链接服务（如p.tl）进一步增加了处理复杂度。其次，通过维基数据SPARQL查询服务获取文章标识符时，移动版页面、非安全HTTP协议或直接链接至文章子章节的URL均可能导致查询失败，产生假阴性结果。此外，数据集仅捕捉了显式的维基百科链接，忽略了图片、视频、文本直接复用或截图等隐式内容传播形式，无法全面反映两大平台间的实际交互全貌。最后，数据集依赖推特API的持续可用性，其历史存档的长期可访问性面临平台政策变动的潜在风险。

常用场景

经典使用场景

在信息生态学与计算社会科学领域，TWikiL数据集为探究维基百科与Twitter两大超级平台之间的互依关系提供了前所未有的历时性视角。其最经典的使用场景在于量化分析维基百科链接在Twitter上的传播模式，通过追踪2006年至2021年间逾三千五百万条推文中的维基百科链接，研究者能够精准刻画不同语言版本、主题类别与时间窗口下链接分享的演化轨迹。例如，借助该数据集可揭示文化类条目（尤其是传记）在社交平台上的主导地位，或识别机器人账户在特定概念扩散中扮演的关键角色，从而为理解数字时代知识流动的底层机制奠定实证基础。

解决学术问题

TWikiL数据集直面学术界长期存在的两大痛点：一是平台间互操作性研究的碎片化困境，二是缺乏覆盖长时段的纵向数据以捕捉网络演化的历史脉络。它有效解决了如何实证检验维基百科内容偏见（如性别、地域或文化偏向）是否通过社交分享向其他平台蔓延的问题，并首次提供了量化评估‘复用悖论’在Twitter语境下是否成立的数据支撑——即高频率的链接曝光是否并未等价转化为维基百科的编辑参与或页面流量增长。此外，该数据集通过关联Wikidata标识符，使得跨数据集联合分析成为可能，极大推动了关于信息生态中价值不对称性与知识传播公平性的学术讨论。

衍生相关工作

TWikiL数据集催生了一系列富有影响力的衍生研究。首先，它启发了针对维基百科页面浏览量预测模型的改进工作，研究者将TWikiL中的链接传播时序与维基媒体Pageviews API数据进行耦合，构建了能更准确捕捉突发事件影响的传播-流量联合预测框架。其次，该数据集被用于拓展‘复用悖论’理论，相关论文通过对比TWikiL与Reddit上的链接分享数据，揭示了不同平台间价值回流机制的差异性。此外，基于TWikiL中丰富的语言版本信息，衍生出了关于多语言知识传播不平衡性的研究，这些工作进一步结合了文化多样性数据集，深入探讨了西方中心主义在社交分享中的固化现象。