AdvGLUE

该数据集是对现有GLUE基准的修改版本，它为文本添加了不同类型的对抗性噪声，包括单词级别的扰动、句子级别的扰动以及人工精心设计的扰动。该数据集涵盖了5个任务：SST-2、QQP、MNLI、QNLI和RTE。由于测试集并未公开，因此我们使用开发集进行评估。这项工作的任务是评估对抗性鲁棒性。

This dataset is a modified variant of the standard GLUE benchmark, which incorporates diverse adversarial noises into the text, including word-level perturbations, sentence-level perturbations, and manually crafted perturbations. It encompasses five downstream tasks: SST-2, QQP, MNLI, QNLI, and RTE. As the test split of this dataset is not publicly accessible, we adopt the development split for model evaluation. The core task of this work is to evaluate adversarial robustness.

搜集汇总

背景与挑战

背景概述

AdvGLUE是一个对抗性文本数据集，基于GLUE基准添加了多种对抗性噪声，涵盖5个NLP任务，用于评估模型的对抗鲁棒性。由于测试集未公开，研究使用开发集进行评估。