Misinformation Span Detection - EI22 & BOL4Y

BOL4Y & EI22

Description of each data provided in the paper.

Contents

The repository includes the following data files:

- dump.csv — Parsed and normalized fact-check metadata extracted from AosFatos HTML pages

- aos_fatos_pages.zip — Raw HTML pages crawled from AosFatos (BOL4Y)

- escriba-csv.zip — Transcripts from escriba

- bol4y.csv.gz — Main BOL4Y dataset (compressed CSV)

- ei22.csv — Main EI22 dataset (CSV)

- bol4y-transcripts.zip — Transcripts associated with BOL4Y

- ei22-transcripts.csv — Transcripts associated with EI22

Data

dump.csv

This file contains parsed fact-checking metadata from AosFatos, used to build BOL4Y.Original data is in Brazilian Portuguese; column names were translated to English for usability.

Column name
Description

title
Title of the fact check

date
Publication date of the fact check

aos_fatos_link
URL of the original AosFatos page

fact_check
Fact-checking paragraph

topic_pt
Topic(s) of the false claim (Portuguese)

source
Origin of the claim (e.g., livestream, speech)

source_urls
URLs to the original content being fact-checked

repetition_count
Number of times the same claim was repeated

year_days_pair
Year, month, and day of each claim occurrence. Includes repeated claims

page
Crawl page index where the fact check was found

fact_check_id
Unique identifier for the fact check (shared with BOL4Y)

BOL4Y (bol4y.csv.gz)

CSV was compressed for easier storage. In it, you will find the following fields:

Column name
Description

fact_check_id
Identifier matching dump.csv

file
Source file for the transcript 

transcription_source
Transcription system (escriba or whisper)

transcription_index
Segment ID(s) associated with each segment. For some fact-checked segmentes, you'll see more than one id listed in this field, following the concatenation approach discussed in the paper

transcription_text
Claim or transcript segment text

label
1 = misinformation, 0 = non-misinformation

fixed_date
Date of the fact check

unique-check
Unique ID combining file and segment information

EI22

Each line of this csv is a segment

Column name
Description

file_id
Identifier of the source file

transcript_timestamp_ids
Segment ID(s) associated with each segment. For some fact-checked segmentes, you'll see more than one id listed in this field, following the concatenation approach discussed in the paper

transcript
Full transcript of the file (EI22 only)

minute_timestamp
Minute-level timestamp provided by AosFatos

description
Metadata description from AosFatos

label
1 = misinformation, 0 = non-misinformation

unique-check
Unique ID combining file and segment information

segment_text
Claim or segment text

Note: For youtube videos, the file_id field corresponds to the id of the video on youtube

Additional Resources
HuggingFace Repository

Github repository

BOL4Y 与 EI22 数据集

论文中提供的各数据集说明如下。

### 内容说明
本仓库包含以下数据文件：
- dump.csv：从 AosFatos HTML 页面提取并经解析、归一化处理的事实核查（fact-check）元数据
- aos_fatos_pages.zip：从 AosFatos（BOL4Y）爬取的原始 HTML 页面归档文件
- escriba-csv.zip：来自 escriba 的转录文本（transcript）归档文件
- bol4y.csv.gz：BOL4Y 主数据集（压缩格式 CSV 文件）
- ei22.csv：EI22 主数据集（CSV 格式文件）
- bol4y-transcripts.zip：与 BOL4Y 关联的转录文本归档文件
- ei22-transcripts.csv：与 EI22 关联的转录文本文件

### 数据详情
#### dump.csv
本文件包含从 AosFatos 提取的经解析的事实核查元数据，用于构建 BOL4Y 数据集。原始数据为巴西葡萄牙语，为提升可用性，列名已译为英文。

| 列名 | 说明 |
|------|------|
| title | 事实核查报告的标题 |
| date | 事实核查报告的发布日期 |
| aos_fatos_link | 原始 AosFatos 页面的 URL |
| fact_check | 事实核查段落内容 |
| topic_pt | 虚假言论的主题（葡萄牙语） |
| source | 言论的来源渠道（例如直播、演讲） |
| source_urls | 待核查原始内容的 URL |
| repetition_count | 同一言论被重复传播的次数 |
| year_days_pair | 每条言论出现的年、月、日信息，包含重复出现的言论 |
| page | 发现该事实核查报告的爬取页面索引 |
| fact_check_id | 事实核查报告的唯一标识符（与 BOL4Y 数据集共享该 ID） |

#### BOL4Y（bol4y.csv.gz）
该 CSV 文件已完成压缩以优化存储，文件包含以下字段：

| 列名 | 说明 |
|------|------|
| fact_check_id | 与 dump.csv 匹配的唯一标识符 |
| file | 转录文本的源文件 |
| transcription_source | 转录系统（escriba 或 whisper） |
| transcription_index | 与每个文本片段关联的片段 ID。对于部分待核查的文本片段，本字段将列出多个 ID，遵循论文中讨论的拼接处理方式 |
| transcription_text | 言论或转录文本片段内容 |
| label | 标签：1 代表虚假信息（misinformation），0 代表非虚假信息（non-misinformation） |
| fixed_date | 事实核查报告的日期 |
| unique-check | 结合文件与片段信息生成的唯一 ID |

#### EI22
该 CSV 文件的每一行对应一个文本片段，其字段说明如下：

| 列名 | 说明 |
|------|------|
| file_id | 源文件的标识符 |
| transcript_timestamp_ids | 与每个文本片段关联的片段 ID。对于部分待核查的文本片段，本字段将列出多个 ID，遵循论文中讨论的拼接处理方式 |
| transcript | 文件的完整转录文本（仅 EI22 数据集包含此字段） |
| minute_timestamp | AosFatos 提供的分钟级时间戳 |
| description | AosFatos 提供的元数据描述 |
| label | 标签：1 代表虚假信息（misinformation），0 代表非虚假信息（non-misinformation） |
| unique-check | 结合文件与片段信息生成的唯一 ID |
| segment_text | 言论或文本片段内容 |

注：对于 YouTube 视频，file_id 字段对应该视频在 YouTube 上的 ID。

### 附加资源
HuggingFace 仓库
GitHub 仓库