MtCelesteMa/fstdt-quotes

FSTDT Quotes数据集是2023年2月3日14:16从[Fundies Say the Darndest Things](https://fstdt.com/)网站获取的快照，主要用于仇恨和边缘言论的检测和分类。数据集包含从互联网收集的引用，数据实例包括ID、提交者、时间戳、用户名、源URL、标签和引用内容。数据集分为训练集、验证集和测试集，分别包含56,448、7,111和7,131个实例。数据集包含大量仇恨言论和伪科学内容，可能对模型训练产生影响。

原始信息汇总

数据集概述

数据集名称

FSTDT Quotes

数据集描述

FSTDT Quotes 是一个从 Fundies Say the Darndest Things 网站于2023年2月3日14:16抓取的数据集，主要用于检测和分类仇恨及边缘言论。

语言

数据集语言为英语。

数据集结构

数据实例

一个典型的数据实例包括以下字段：

• id: 字符串类型，FSTDT上的帖子ID。
• submitter: 字符串类型，帖子提交者。
• timestamp: 字符串类型，提交时间。
• name: 字符串类型，被引用者的用户名。
• src_url: 字符串类型，引用来源的URL。
• tags: 字符串序列，帖子标签。
• quote: 字符串类型，引用内容本身。

数据分割

• train: 56,448个实例
• validation: 7,111个实例
• test: 7,131个实例

数据集创建

源数据

引用来自互联网各处的内容。

注释

数据由FSTDT网站的用户进行注释。

个人和敏感信息

数据集包含提交者和被引用者的用户名，这些信息是公开的。

使用数据集的考虑

讨论偏见

数据集包含大量仇恨言论以及伪科学和江湖骗术内容。

其他已知限制

部分数据集中的引用来自新闻文章，描述了仇恨行为，这可能导致在此数据集上训练的模型出现误分类。