Discovery Dataset

Discovery 数据集由相邻的句子对 (s1,s2) 组成，话语标记 (y) 出现在 s2 的开头。它们是从 depcc 网络语料库中提取的。 标记预测可用于训练句子编码器。话语标记可以被认为是各种语义任务的噪声标签，例如蕴涵（y = 因此）、主观性分析（y = 个人）或情感分析（y = 悲伤）、相似性（y = 相似）、典型性（y =好奇）... 该数据集的特殊性在于标记的多样性，因为之前使用的数据仅使用了约 10 个不平衡类别。数据集的作者提供： 174 个话语标记的列表 具有 174 万对数据集的基础版本（每个标记 10k 个示例） 拥有 340 万双的 Big 版本 具有 174 万对的硬版本，其中连接词无法使用 fastText 线性模型预测The Discovery dataset consists of adjacent sentence pairs (s1, s2), with a discourse marker (y) appearing at the start of s2. These pairs are extracted from the depcc web corpus. Marker prediction can be utilized to train sentence encoders. Discourse markers can be treated as noisy labels for a variety of semantic tasks, such as entailment (y = "therefore"), subjectivity analysis (y = "personally"), sentiment analysis (y = "sadness"), similarity (y = "similar"), typicality (y = "curious")... The distinctive feature of this dataset is the diversity of its markers, as previously employed datasets only utilized around 10 imbalanced categories. The dataset authors have provided the following resources: 1. A list of 174 discourse markers 2. The base version containing 1.74 million sentence pairs (10,000 examples per marker) 3. The Big version with 3.4 million pairs 4. The Hard version consisting of 1.74 million pairs, in which the discourse markers cannot be predicted by a fastText linear model.

搜集汇总

背景与挑战

背景概述

Discovery 数据集由相邻句子对构成，其中第二个句子开头包含话语标记，这些数据从 depcc 网络语料库中提取，用于训练句子编码器。该数据集提供基础版、大版和硬版三个版本，覆盖174个话语标记，具有标记多样性特点，可应用于蕴涵、情感分析等多种语义任务。