pietrolesci/breaking_nli

该数据集由Glockner等人在2018年ACL会议上提出，旨在通过需要简单词汇推理的句子来打破自然语言推理（NLI）系统。数据集的标签编码为`{entailment: 0, neutral: 1, contradiction: 2}`，并存储在`label`列中。

原始信息汇总

数据集概述

• 提出者: Glockner, Max; Shwartz, Vered; Goldberg, Yoav
• 标题: Breaking NLI Systems with Sentences that Require Simple Lexical Inferences
• 会议: The 56th Annual Meeting of the Association for Computational Linguistics (ACL)
• 时间: July 2018
• 地点: Melbourne, Australia
• 原始数据集链接: GitHub链接

数据集整理

• 标签编码: 使用映射 {"entailment": 0, "neutral": 1, "contradiction": 2} 进行编码，并在 label 列中提供。

数据集创建代码

• 数据加载: 从指定路径的 dataset.jsonl 文件中读取数据，并转换为 DataFrame。
• 标签编码: 使用映射将 gold_label 编码为 label。
• 数据集特征: 包括 "sentence1", "category", "gold_label", "annotator_labels", "pairID", "sentence2", "label" 等字段，其中 "label" 为分类标签，具有三个类别："entailment", "neutral", "contradiction"。
• 数据集上传: 使用 Dataset.from_pandas 创建数据集，并上传至 Hugging Face 数据集仓库，命名为 "breaking_nli"，使用特定 token，并设置分割为 "all"。