flue

FLUE旨在为法语自然语言处理系统提供评估基准，类似于GLUE。它支持文本分类、释义、自然语言推理以及动词词义消歧等任务，并提供相应的排行榜。数据集包含亚马逊评论情感分类数据（CLS）、句子语义等价性判断数据（PAWS-X）、自然语言推理数据（XNLI）以及法语动词词义消歧数据（WSD-V），规模从数千到数十万不等。CLS数据集标注了评论的情感极性，PAWS-X数据集标注了句子对是否互为释义，XNLI数据集标注了前提与假设之间的关系，WSD-V数据集标注了动词的词义。其中，XNLI数据集采用CC BY-NC 4.0许可协议，PAWS-X数据集允许自由使用，但需注明来源，其余数据集的授权许可未知。