iperbole/adversarial_fever_nli
收藏Hugging Face2024-06-04 更新2024-06-12 收录
下载链接：
https://hf-mirror.com/datasets/iperbole/adversarial_fever_nli
下载链接
链接失效反馈官方服务：
资源简介：
该数据集包含337个示例，这些示例通过三种不同的方法创建：手动简单修改（62个）、手动对抗性修改（134个）和GPT生成（141个）。数据集旨在测试由Sapienza大学MNLP 2024课程学生创建的增强方法。数据集的schema包括part（创建方法）、cid（FEVER数据集ID）、premise（上下文）、hypothesis（查询）和label（映射的FEVER标签，其中supports映射为entailment，refutes映射为contradiction，not enough info映射为neutral）。
该数据集包含337个示例，这些示例通过三种不同的方法创建：手动简单修改（62个）、手动对抗性修改（134个）和GPT生成（141个）。数据集旨在测试由Sapienza大学MNLP 2024课程学生创建的增强方法。数据集的schema包括part（创建方法）、cid（FEVER数据集ID）、premise（上下文）、hypothesis（查询）和label（映射的FEVER标签，其中supports映射为entailment，refutes映射为contradiction，not enough info映射为neutral）。
提供机构：
iperbole
原始信息汇总
数据集概述
数据集特征
- part: 字符串类型，表示创建例子的方法。
- cid: 整数类型，表示FEVER数据集的ID。
- premise: 字符串类型，表示上下文信息。
- hypothesis: 字符串类型，表示查询内容。
- label: 字符串类型，映射FEVER标签，其中supports映射为entailment，refutes映射为contradiction，not enough info映射为neutral。
数据集划分
- test: 包含337个例子，数据集大小为154658字节。
数据集创建方法
- manual_simple (62个例子): 假设通过手动修改，遵循SRL和WSD标签的修改约束。
- manual_adversarial (134个例子): 假设通过手动修改，旨在欺骗3个专家NLI模型。
- gpt_generated (141个例子): 假设由GPT-4o生成，设计为难以解决。
数据集大小
- 下载大小: 73127字节
- 数据集大小: 154658字节
