Advbench

在本文中，我们重新考虑了安全场景中文本对抗样本的研究范式。我们讨论了以前工作中的不足之处，并提出了我们的建议，即对面向安全的对抗NLP (SoadNLP) 的研究应该 :( 1) 评估他们在安全任务上的方法，以证明现实世界的关注点; (2) 考虑现实世界攻击者的目标，而不是开发不切实际的方法。为此，我们首先收集、处理和发布一个安全数据集集合advbench。然后，我们对任务进行了重新调整，并调整了SoadNLP中不同目标的重点。接下来，我们提出了一种基于启发式规则的简单方法，该方法可以轻松实现实际的对抗目标，以模拟现实世界的攻击方法。我们在Advbenchmark上对攻击和防御双方进行了实验。实验结果表明，我们的方法具有较高的实用价值，表明SoadNLP的研究范式可能是从我们的新基准开始的。