ChaosNLI

Chaos NLI 是一个自然语言推理 (NLI) 数据集，每个示例有 100 个注释（总共 464,500 个注释），用于 SNLI、MNLI 和 Abductive NLI 开发集中的一些现有数据点。该数据集为 NLI 注释提供了额外的标签，这些标签反映了人类注释者的分布，而不是选择多数标签作为黄金标准标签。来源：ChaosNLI Github 存储库Chaos NLI is a natural language inference (NLI) dataset. Each instance in the dataset is annotated 100 times, yielding a total of 464,500 annotations across all samples, which are derived from some existing data points in the SNLI, MNLI, and Abductive NLI development sets. This dataset provides additional labels for NLI annotations that reflect the distribution of human annotators, rather than selecting the majority label as the gold standard label. Source: ChaosNLI GitHub Repository

搜集汇总

背景与挑战

背景概述

ChaosNLI是一个自然语言推理数据集，包含464,500个注释，覆盖SNLI、MNLI和Abductive NLI开发集的部分数据点，旨在提供反映人类注释者分布的标签。该数据集由北卡罗来纳大学教堂山分校于2020年发布，用于替代多数标签作为黄金标准。