CrowdChecked

由于Snopes在互联网用户和研究人员中都很受欢迎，因此我们将Snopes用作我们的目标事实检查网站。我们进一步使用Twitter作为收集用户消息的资源，其中可能包含这些声明的声明和事实检查。 我们的数据收集设置类似于 (Vo和Lee，2019) 中的设置。首先，我们形成一个查询来选择包含指向Snopes的事实检查链接的推文，该链接是回复或引用推文，而不是转发。来自查询的示例结果如图1所示，其中来自人群事实检查器的推文包含指向事实检查文章的链接。然后，我们评估它与第一个推文 (对话的根) 和最后一个回复中所提出的声明 (如果有) 的相关性，以便获得推文验证的文章对。 从2017年10月到2021年10月，我们收集了所有与我们的查询相匹配的推文，总共获得了482,736个独特的点击。我们进一步收集了148,503回复推文和204,250对话 (根) 推文。最后，我们过滤掉格式错误的对，即链接到自己的推文，空推文，非英语的推文，例如在Twitter对象 (“实体”) 中没有解析的url，带有指向事实检查网站的断开链接，以及checkthat'21数据集中的所有推文。我们最终得到了332,660独特的推文-文章对，316,564独特的推文，以及他们指向的Snopes的10,340事实检查文章。As Snopes enjoys widespread popularity among both internet users and researchers, we select Snopes as our target fact-checking website. We further employ Twitter as a source for collecting tweets that may contain such claims and their associated fact-checks. Our data collection setup is similar to that described in (Vo and Lee, 2019). First, we formulate a query to retrieve tweets that contain links to Snopes fact-checking articles, where these links are embedded in reply or quote tweets rather than retweets. An example result from the query is shown in Figure 1, where a tweet posted by crowd fact-checkers includes a link to a fact-checking article. We then evaluate the relevance between the linked fact-checking article and the claims raised in the root tweet (the start of the conversation thread) and the final reply (if any), to derive tweet-article pairs validated by the tweets. From October 2017 to October 2021, we collected all tweets matching our query, resulting in a total of 482,736 unique clicks. We further gathered 148,503 reply tweets and 204,250 root conversation tweets. Finally, we filtered out invalid pairs, including tweets that link to themselves, empty tweets, non-English tweets (e.g., tweets with unparsed URLs in the Twitter "entities" object), tweets with broken links to fact-checking websites, and all tweets from the CheckThat! '21 dataset. In the end, we obtained 332,660 unique tweet-article pairs, 316,564 unique tweets, and 10,340 unique Snopes fact-checking articles referenced by these tweets.

搜集汇总

背景与挑战

背景概述

CrowdChecked数据集基于Snopes事实检查网站和Twitter平台，收集了2017年10月至2021年10月期间的推文数据，通过查询和过滤处理，最终形成332,660个推文-文章对，涉及316,564条独特推文和10,340篇Snopes文章。该数据集由多个研究机构于2022年发布，旨在支持事实检查相关研究。