Fal7acy/4chan-archive

该数据集名为4chan Archive，使用了4chan的公共API来读取和保存每个板块的存档线程。数据集中包含的字段有board（板块名称，数据类型为字符串）、thread（线程ID，数据类型为整数）和posts（帖子列表，包含poster（发帖者ID，数据类型为整数）和content（帖子内容，数据类型为字符串））。数据集分为一个训练集，包含100,138个样本，总大小为649,595,899字节。数据集的语言为英语，任务类别为文本生成，标签为not-for-all-audiences，表示内容可能不适合所有观众。数据集的创建日期为2024年5月22日至2024年5月23日。未来计划包括创建一个包含线程中图片的数据集，但目前这不是优先事项。

原始信息汇总

数据集概述

基本信息

• 许可证: MIT
• 数据集名称: Dataset of 4Chan Board Archives
• 数据集大小: 100K<n<1M

数据集特征

• board: 字符串类型
• thread: 整数类型（int64）
• posts: 列表类型，包含以下子特征：
  • poster: 整数类型（int64）
  • content: 字符串类型

数据集分割

• 训练集:
  • 大小: 649595899 字节
  • 示例数量: 100138
  • 下载大小: 415637545 字节

任务类别

• text-generation

语言

• en

标签

• not-for-all-audiences

搜集汇总

背景与挑战

背景概述

该数据集名为'4chan-archive'，是一个用于文本生成任务的英语文本数据集，规模在10万到100万之间，采用parquet格式。数据集被标记为'Not-For-All-Audiences'，表明其内容可能包含敏感或有害信息，需谨慎使用，并遵循MIT许可证。