AdvGLUE

displayName: AdvGLUE
labelTypes:
- Text
license:
- CC BY-SA 4.0
mediaTypes:
- Text
paperUrl: https://arxiv.org/pdf/2111.02840v2.pdf
publishDate: "2021"
publishUrl: https://adversarialglue.github.io/
publisher:
- Microsoft
- University of Illinois Urbana-Champaign
- Zhejiang University
tags:
- Text
taskTypes:
- Open-Domain Question Answering
- Visual Question Answering

---
# 数据集介绍
## 简介
Adversarial GLUE (AdvGLUE) 是一种新的多任务基准，用于定量和深入地探索和评估现代大规模语言模型在各种类型的对抗性攻击下的漏洞。特别是，我们系统地将 14 种文本对抗攻击方法应用于 GLUE 任务以构建 AdvGLUE，并进一步验证了人类的可靠注释。描述来自：对抗性 GLUE：语言模型鲁棒性评估的多任务基准
## 引文
```
@article{wang2021adversarial,
title={Adversarial glue: A multi-task benchmark for robustness evaluation of language models},
author={Wang, Boxin and Xu, Chejian and Wang, Shuohang and Gan, Zhe and Cheng, Yu and Gao, Jianfeng and Awadallah, Ahmed Hassan and Li, Bo},
journal={arXiv preprint arXiv:2111.02840},
year={2021}
}
```

## Download dataset
:modelscope-code[]{type="git"}

显示名称: AdvGLUE
标签类型:
- 文本
许可协议:
- 知识共享署名-相同方式共享4.0 (CC BY-SA 4.0)
媒体类型:
- 文本
论文链接: https://arxiv.org/pdf/2111.02840v2.pdf
发布日期: 2021年
项目官网: https://adversarialglue.github.io/
发布机构:
- 微软(Microsoft)
- 伊利诺伊大学厄巴纳-香槟分校(University of Illinois Urbana-Champaign)
- 浙江大学(Zhejiang University)
标签:
- 文本
任务类型:
- 开放域问答(Open-Domain Question Answering)
- 视觉问答(Visual Question Answering)

---

# 数据集简介
## 简介
对抗性GLUE（Adversarial GLUE，简称AdvGLUE）是一款全新的多任务基准数据集，旨在定量且深入地探究、评估现代大语言模型（Large Language Model）在各类对抗性攻击下的安全漏洞。本数据集通过将14种文本对抗攻击方法系统性地应用于GLUE任务集构建而成，并额外经过了人工可靠标注的验证。本数据集的描述源自论文《对抗性GLUE：面向语言模型鲁棒性评估的多任务基准》。
## 引文

@article{wang2021adversarial,
title={Adversarial glue: A multi-task benchmark for robustness evaluation of language models},
author={Wang, Boxin and Xu, Chejian and Wang, Shuohang and Gan, Zhe and Cheng, Yu and Gao, Jianfeng and Awadallah, Ahmed Hassan and Li, Bo},
journal={arXiv preprint arXiv:2111.02840},
year={2021}
}

## 数据集下载
:modelscope-code[]{type="git"}