AI-Secure/adv_glue

Adversarial GLUE基准（AdvGLUE）是一个全面的鲁棒性评估基准，专注于语言模型在对抗性攻击下的鲁棒性评估。它涵盖了著名的GLUE任务中的五个自然语言理解任务，是GLUE基准的对抗性版本。AdvGLUE从不同角度和层次考虑文本对抗攻击，包括词级转换、句子级操作和人工编写的对抗性示例，全面覆盖了各种对抗性语言现象。

原始信息汇总

数据集概述

名称: Adversarial GLUE

语言: 英语 (en)

许可证: CC-BY-SA-4.0

多语言性: 单语

大小: 小于1K

源数据集: 扩展自GLUE

任务类别: 文本分类

任务ID:

• 自然语言推理
• 情感分类

配置名称:

• adv_mnli
• adv_mnli_mismatched
• adv_qnli
• adv_qqp
• adv_rte
• adv_sst2

标签:

• 释义识别
• QA-NLI

数据集结构

配置: adv_mnli

• 特征:
  • premise: 字符串
  • hypothesis: 字符串
  • label: 分类标签（entailment: 0, neutral: 1, contradiction: 2）
  • idx: 整数
• 分割:
  • validation: 121个样本, 23712字节

配置: adv_mnli_mismatched

• 特征:
  • premise: 字符串
  • hypothesis: 字符串
  • label: 分类标签（entailment: 0, neutral: 1, contradiction: 2）
  • idx: 整数
• 分割:
  • validation: 162个样本, 40953字节

配置: adv_qnli

• 特征:
  • question: 字符串
  • sentence: 字符串
  • label: 分类标签（entailment: 0, not_entailment: 1）
  • idx: 整数
• 分割:
  • validation: 148个样本, 34850字节

配置: adv_qqp

• 特征:
  • question1: 字符串
  • question2: 字符串
  • label: 分类标签（not_duplicate: 0, duplicate: 1）
  • idx: 整数
• 分割:
  • validation: 78个样本, 9908字节

配置: adv_rte

• 特征:
  • sentence1: 字符串
  • sentence2: 字符串
  • label: 分类标签（entailment: 0, not_entailment: 1）
  • idx: 整数
• 分割:
  • validation: 81个样本, 25979字节

配置: adv_sst2

• 特征:
  • sentence: 字符串
  • label: 分类标签（negative: 0, positive: 1）
  • idx: 整数
• 分割:
  • validation: 148个样本, 16572字节