bobotran/spoiler-matching

Episode-Specific Spoilers数据集是一个用于剧集特定剧透的语义文本匹配任务的数据集。该数据集包含从Reddit上抓取的关于多个电视剧集的评论，每个评论都分配了剧集编号和剧名，以便进行非常细粒度的剧透检测。数据集还包括每个剧集的摘要，任务是针对给定剧集，对每个评论的摘要进行排序。数据集分为匹配和过滤两个主要部分，匹配部分包含用于训练剧透匹配模型的数据，过滤部分包含自动标注步骤的中间数据。

The Episode-Specific Spoilers Dataset is a resource for the semantic text matching task targeting episode-specific spoiler detection. This dataset includes comments on multiple TV drama episodes scraped from Reddit, where each comment is annotated with an episode number and its corresponding drama title to support highly fine-grained spoiler detection. The dataset also provides summaries for each individual episode. The core task of this dataset is, given a specific episode, to rank all associated comments according to their relevance to the episode's summary. The dataset is split into two primary components: the matching subset and the filtering subset. The matching subset contains data for training spoiler matching models, while the filtering subset holds intermediate data generated during the automatic annotation process.

原始信息汇总

数据集概述

数据集名称

Episode-Specific Spoilers

数据集描述

该数据集用于语义文本匹配任务，旨在检测讨论电视剧剧集的评论中的剧透内容。与其他剧透数据集不同，该数据集为每个评论分配了剧集编号和剧名，使得可以匹配到特定剧集，实现非常细粒度的剧透检测。此外，数据集还包括每个（剧名，剧集）对的剧集摘要。对于给定的剧集，任务是对每个评论的摘要进行排序。

数据集组成

• matching 文件夹：包含用于训练剧透匹配模型的数据集。所有评论均被确定为相关，无论是通过人工标注还是自动标注。
  • with_autolabels 文件夹：包含主要数据集。test.json 和 val.json 包含手工标注的相关评论，而 train.json 包含自动标注的相关评论。
  • handlabeled_only 文件夹：与 with_autolabels 文件夹共享相同的 test.json，但 train.json 和 val.json 分别从 with_autolabels/val.json 中按 80-20 分割。
• filtering 文件夹：包含自动标注步骤的中间数据。
  • handlabeled 文件夹：包含用于训练自动标注器的数据集。第一列标记为 1 的评论被手工标注为 无关，标记为 0 的评论被手工标注为 相关。
  • unlabeled 文件夹：未标注的评论被分成两部分，以便在推理过程中更容易加载到内存中。所有评论的第一列标记为 -1，表示它们未标注。

数据集规模

• 总评论数：522,991 条
• 手工标注评论数：11,032 条

语言

英语（en）

许可

CC BY-SA 3.0

搜集汇总

背景与挑战

背景概述

该数据集是一个用于句子相似性任务的剧透匹配数据集，包含来自Reddit上13个电视节目的52.2万条评论，每条评论都关联了特定剧集和节目名称，支持细粒度剧透检测。数据集通过手动和自动标注区分评论相关性，并提供了每集的摘要，适用于训练剧透匹配模型。