maximoss/gqnli-fr

该数据集包含一个手动翻译的法语版本的GQNLI挑战数据集，原数据集为英文。GQNLI是一个评估语料库，旨在测试语言模型的广义量词推理能力。该数据集可用于自然语言推理（NLI）任务，也称为识别文本蕴含（RTE），这是一个句子对分类任务。数据集包含翻译的前提和假设，以及原始英文的前提和假设，标签包括蕴含、中立和矛盾。数据集的测试集包含97个蕴含、100个中立和103个矛盾的例子。This dataset contains a manually translated French version of the GQNLI challenge dataset, whose original iteration is in English. GQNLI is an evaluation corpus designed to test the generalized quantifier reasoning capabilities of language models. This dataset can be applied to natural language inference (NLI) tasks, also known as recognizing textual entailment (RTE), which is a sentence-pair classification task. The dataset includes translated premises and hypotheses, as well as the original English versions of the premises and hypotheses, with labels covering entailment, neutral, and contradiction. The test split of the dataset contains 97 entailment, 100 neutral, and 103 contradiction examples.

原始信息汇总

数据集概述

数据集描述

• 名称: GQNLI-French
• 语言: 法语 (fr)
• 许可: CC-BY-4.0
• 任务类别:
  • 文本分类
  • 自然语言推理
  • 多输入文本分类
• 数据集大小: 小于1000条记录 (n<1K)

数据集总结

本数据集是GQNLI挑战数据集的法语手动翻译版本，原数据集为英语。GQNLI旨在测试语言模型的一般量化推理能力。

支持的任务和排行榜

该数据集适用于自然语言推理（NLI）任务，也称为识别文本蕴含（RTE），这是一个句子对分类任务。

数据集结构

数据字段

• uid: 索引号。
• premise: 目标语言中的翻译前提。
• hypothesis: 目标语言中的翻译假设。
• label: 分类标签，可能值为0（蕴含）、1（中性）、2（矛盾）。
• label_text: 分类标签，可能值为entailment（0）、neutral（1）、contradiction（2）。
• premise_original: 英语源数据集中的原始前提。
• hypothesis_original: 英语源数据集中的原始假设。

数据分割

名称	蕴含	中性	矛盾
测试	97	100	103

引用信息

BibTeX @inproceedings{skandalis-etal-2024-new-datasets, title = "New Datasets for Automatic Detection of Textual Entailment and of Contradictions between Sentences in {F}rench", author = "Skandalis, Maximos and Moot, Richard and Retor{e}, Christian and Robillard, Simon", editor = "Calzolari, Nicoletta and Kan, Min-Yen and Hoste, Veronique and Lenci, Alessandro and Sakti, Sakriani and Xue, Nianwen", booktitle = "Proceedings of the 2024 Joint International Conference on Computational Linguistics, Language Resources and Evaluation (LREC-COLING 2024)", month = may, year = "2024", address = "Torino, Italy", publisher = "ELRA and ICCL", url = "https://aclanthology.org/2024.lrec-main.1065", pages = "12173--12186", abstract = "This paper introduces DACCORD, an original dataset in French for automatic detection of contradictions between sentences. It also presents new, manually translated versions of two datasets, namely the well known dataset RTE3 and the recent dataset GQNLI, from English to French, for the task of natural language inference / recognising textual entailment, which is a sentence-pair classification task. These datasets help increase the admittedly limited number of datasets in French available for these tasks. DACCORD consists of 1034 pairs of sentences and is the first dataset exclusively dedicated to this task and covering among others the topic of the Russian invasion in Ukraine. RTE3-FR contains 800 examples for each of its validation and test subsets, while GQNLI-FR is composed of 300 pairs of sentences and focuses specifically on the use of generalised quantifiers. Our experiments on these datasets show that they are more challenging than the two already existing datasets for the mainstream NLI task in French (XNLI, FraCaS). For languages other than English, most deep learning models for NLI tasks currently have only XNLI available as a training set. Additional datasets, such as ours for French, could permit different training and evaluation strategies, producing more robust results and reducing the inevitable biases present in any single dataset.", }

搜集汇总

数据集介绍

构建方式

在自然语言推理（NLI）领域，量化词推理能力的评估长期依赖英文语料，而法语资源的匮乏制约了相关研究的发展。为弥补这一空白，本研究基于英文GQNLI挑战数据集，通过人工翻译的方式构建了法语版本GQNLI-FR。翻译过程严格遵循语义等价原则，确保每个前提与假设对在保留原意的基础上准确转换为法语，同时保留了原始英文句子以供对照。数据集包含300对句子，涵盖蕴含、中立与矛盾三类标签，且各类别样本数量均衡，专为评估语言模型对广义量化词的推理能力而设计。

特点

GQNLI-FR的核心特点在于其聚焦于广义量化词这一语言学难点，挑战模型对“大多数”、“所有”、“一些”等量化表达的语义理解。与通用NLI数据集不同，该语料刻意强化了量化词带来的推理歧义，使得其成为评估模型鲁棒性的严苛基准。此外，作为法语领域稀缺的专用NLI资源，它补充了XNLI等现有数据集未能覆盖的量化推理场景，为多语言NLI研究提供了更具针对性的测试工具，有助于揭示模型在非英语语言中的推理缺陷。

使用方法

该数据集适用于标准的句子对分类任务，即自然语言推理（NLI）。用户可直接加载数据，利用前提（premise）与假设（hypothesis）作为输入，预测其逻辑关系标签（蕴含、中立或矛盾）。由于数据集规模较小（约300例），建议将其作为测试集或验证集使用，以评估预训练语言模型在法语量化词推理上的表现。数据字段中提供了原始英文句子，便于进行跨语言对比分析或辅助多任务学习。推荐使用HuggingFace的datasets库进行加载，并配合常见的分类模型（如BERT、XLM-R）进行推理。

背景与挑战

背景概述

自然语言推理（Natural Language Inference, NLI）是评估模型语义理解与逻辑推理能力的核心任务，而广义量词（如“大多数”、“至少三个”）的语义复杂性长期构成瓶颈。2024年，由Maximos Skandalis、Richard Moot、Christian Retoré及Simon Robillard等研究者联合构建的法语版GQNLI数据集（GQNLI-FR）应运而生，该工作源自Cui等人于2022年提出的英文原版GQNLI，旨在专门检测语言模型对广义量词的推理鲁棒性。该数据集由300对人工翻译的句子对组成，聚焦于蕴涵、中立与矛盾三类标签，其发布填补了法语NLI领域在广义量词推理评估上的空白，为多语言模型在非英语场景下的细粒度语义分析提供了关键基准，显著推动了低资源语言NLI研究的发展。

当前挑战

该数据集所解决的领域挑战在于：广义量词在自然语言中频繁出现，但现有NLI模型对其语义推理能力薄弱，尤其在多语言环境中性能退化显著，原版GQNLI虽揭示了该问题，却缺乏法语等低资源语言的对应评测资源。构建过程中，团队面临双重挑战：其一，需确保翻译质量与语义等价性，避免因语言差异导致量词逻辑失真；其二，原始GQNLI仅含300个样本，规模极小，需在有限数据内维持标签平衡（97条蕴涵、100条中立、103条矛盾）并覆盖多种量词类型，这对人工翻译的精准度与一致性提出了极高要求，同时需克服法语中量词表达习惯与英语的差异，以保障评测的有效性。

常用场景

经典使用场景

在自然语言处理领域，泛化量词推理能力是评估语言模型语义理解深度的关键指标。maximoss/gqnli-fr数据集作为GQNLI的法语人工翻译版本，专为自然语言推理任务设计，聚焦于测试模型对泛化量词（如“所有”、“大多数”、“少数”）的逻辑推理能力。该数据集包含300对前提-假设句子，每对标注为蕴含、矛盾或中立三类，其经典使用场景是在多语言环境下检验预训练语言模型（如mBERT、XLM-R）对量词语义的鲁棒性，尤其关注模型在法语中处理复杂量化表达时的表现，从而揭示跨语言泛化中的系统性缺陷。

实际应用

在实际应用中，该数据集可服务于需要精准语义理解的跨语言系统，例如法语智能客服的意图识别、法律文档的矛盾检测以及教育领域的自动阅读理解评估。以法语法律文本为例，量词（如“任何”、“所有”）的误判可能导致合同条款的严重误解，而基于GQNLI-FR训练的模型能更可靠地识别前提与假设间的逻辑关系。此外，该数据集还可用于机器翻译质量评估，检验译文是否保留原文的量词推理逻辑，或辅助开发面向法语学习者的语法纠错工具，提升对量化结构错误（如量词与否定搭配）的检测能力。

衍生相关工作

该数据集衍生了一系列重要工作，包括与其同期发布的DACCORD法语矛盾检测数据集和RTE3-FR翻译版本，三者共同构建了法语NLI评测的新基准。原始GQNLI的英文版本催生了针对量词推理的对抗性测试方法，而法语版本的引入则激发了跨语言鲁棒性研究，例如分析mBERT在不同语言中量词推理的差距。后续工作还探索了基于提示学习的零样本量词推理，以及利用GQNLI-FR作为微调数据增强XNLI等主流法语NLI数据集的效果。这些研究共同揭示了现有模型在量化逻辑上的根本局限，推动了更形式化的语义表示方法的发展。