AdvRACE

AdvRACE是一个用于评估机器阅读理解模型鲁棒性的新型基准数据集，由哈尔滨工业大学社会计算与信息检索研究中心创建。该数据集包含4934个样本，源自RACE数据集，通过引入四种不同类型的对抗攻击进行增强。AdvRACE旨在通过模拟真实世界中的文本扰动，评估模型在面对复杂和多变的输入时的表现。数据集的创建过程涉及对原始文本的多种修改，如添加干扰信息、字符交换等，以生成具有挑战性的测试案例。AdvRACE的应用领域主要集中在提高机器阅读理解模型的鲁棒性，解决模型在实际应用中可能遇到的输入扰动问题。