maximoss/sick-fr-mt

该数据集是SICK（Sentences Involving Compositional Knowledge）数据集的法语机器翻译版本，用于自然语言推理任务（NLI），即文本蕴含识别（RTE）。数据集的目标是预测文本蕴含关系（句子A是否蕴含、矛盾或与句子B无关），这是一个分类任务（给定两个句子，预测三个标签之一）。除了对句子对进行机器翻译外，其余信息（句子对ID、标签、每个句子的来源数据集、训练/验证/测试集的划分）均与原始英文数据集保持一致。数据集以TSV格式存储，类似于广泛使用的XNLI数据集。由于SICK数据集中的句子平均长度较短，机器翻译的质量较高。

原始信息汇总

数据集卡片

数据集描述

数据集摘要

本数据集包含SICK（涉及组合知识的句子）数据集的法语机器翻译版本。目标是预测文本蕴含（句子A是否暗示/矛盾/既不暗示也不矛盾句子B），这是一个分类任务（给定两个句子，预测三个标签之一）。除了机器翻译句子对外，其余信息（对ID、标签、每个句子的源数据集、训练/开发/测试子集分区）与原始英语数据集保持一致。

数据集以类似于广泛使用的XNLI数据集的TSV格式进行格式化，以便于使用。

支持的任务和排行榜

该数据集可用于自然语言推理（NLI）任务，也称为识别文本蕴含（RTE），这是一个句子对分类任务。

数据集结构

数据字段

• pair_ID: 句子对ID。
• sentence_A: 句子A，在其他NLI数据集中也称为前提。
• sentence_B: 句子B，在其他NLI数据集中也称为假设。
• entailment_label: 文本蕴含金标签（NEUTRAL, ENTAILMENT, 或 CONTRADICTION）。
• entailment_AB: A-B顺序的蕴含标签（A_neutral_B, A_entails_B, 或 A_contradicts_B）。
• entailment_BA: B-A顺序的蕴含标签（B_neutral_A, B_entails_A, 或 B_contradicts_A）。
• original_SICK_sentence_A: 来自英语源数据集的原始前提。
• original_SICK_sentence_B: 来自英语源数据集的原始假设。
• sentence_A_dataset: 提取原始句子A的数据集（FLICKR vs. SEMEVAL）。
• sentence_B_dataset: 提取原始句子B的数据集（FLICKR vs. SEMEVAL）。

数据分割

名称	Entailment	Neutral	Contradiction	总计
train	1274	2524	641	4439
validation	143	281	71	495
test	1404	2790	712	4906

对于A-B顺序：

名称	A_entails_B	A_neutral_B	A_contradicts_B
train	1274	2381	784
validation	143	266	86
test	1404	2621	881

对于B-A顺序：

名称	B_entails_A	B_neutral_A	B_contradicts_A
train	606	3072	761
validation	84	329	82
test	610	3431	865

数据集创建

该数据集是从英语机器翻译到法语的，使用的是最新的神经机器翻译模型opus-mt-tc-big。翻译工作于2023年11月26日进行。

附加信息

引用信息

BibTeX:

BibTeX @inproceedings{skandalis-etal-2024-new-datasets, title = "New Datasets for Automatic Detection of Textual Entailment and of Contradictions between Sentences in {F}rench", author = "Skandalis, Maximos and Moot, Richard and Retor{e}, Christian and Robillard, Simon", editor = "Calzolari, Nicoletta and Kan, Min-Yen and Hoste, Veronique and Lenci, Alessandro and Sakti, Sakriani and Xue, Nianwen", booktitle = "Proceedings of the 2024 Joint International Conference on Computational Linguistics, Language Resources and Evaluation (LREC-COLING 2024)", month = may, year = "2024", address = "Torino, Italy", publisher = "ELRA and ICCL", url = "https://aclanthology.org/2024.lrec-main.1065", pages = "12173--12186", abstract = "This paper introduces DACCORD, an original dataset in French for automatic detection of contradictions between sentences. It also presents new, manually translated versions of two datasets, namely the well known dataset RTE3 and the recent dataset GQNLI, from English to French, for the task of natural language inference / recognising textual entailment, which is a sentence-pair classification task. These datasets help increase the admittedly limited number of datasets in French available for these tasks. DACCORD consists of 1034 pairs of sentences and is the first dataset exclusively dedicated to this task and covering among others the topic of the Russian invasion in Ukraine. RTE3-FR contains 800 examples for each of its validation and test subsets, while GQNLI-FR is composed of 300 pairs of sentences and focuses specifically on the use of generalised quantifiers. Our experiments on these datasets show that they are more challenging than the two already existing datasets for the mainstream NLI task in French (XNLI, FraCaS). For languages other than English, most deep learning models for NLI tasks currently have only XNLI available as a training set. Additional datasets, such as ours for French, could permit different training and evaluation strategies, producing more robust results and reducing the inevitable biases present in any single dataset.", }

@inproceedings{marelli-etal-2014-sick, title = "A {SICK} cure for the evaluation of compositional distributional semantic models", author = "Marelli, Marco and Menini, Stefano and Baroni, Marco and Bentivogli, Luisa and Bernardi, Raffaella and Zamparelli, Roberto", editor = "Calzolari, Nicoletta and Choukri, Khalid and Declerck, Thierry and Loftsson, Hrafn and Maegaard, Bente and Mariani, Joseph and Moreno, Asuncion and Odijk, Jan and Piperidis, Stelios", booktitle = "Proceedings of the Ninth International Conference on Language Resources and Evaluation ({LREC}14)", month = may, year = "2014", address = "Reykjavik, Iceland", publisher = "European Language Resources Association (ELRA)", url = "http://www.lrec-conf.org/proceedings/lrec2014/pdf/363_Paper.pdf", pages = "216--223", abstract = "Shared and internationally recognized benchmarks are fundamental for the development of any computational system. We aim to help the research community working on compositional distributional semantic models (CDSMs) by providing SICK (Sentences Involving Compositional Knowldedge), a large size English benchmark tailored for them. SICK consists of about 10,000 English sentence pairs that include many examples of the lexical, syntactic and semantic phenomena that CDSMs are expected to account for, but do not require dealing with other aspects of existing sentential data sets (idiomatic multiword expressions, named entities, telegraphic language) that are not within the scope of CDSMs. By means of crowdsourcing techniques, each pair was annotated for two crucial semantic tasks: relatedness in meaning (with a 5-point rating scale as gold score) and entailment relation between the two elements (with three possible gold labels: entailment, contradiction, and neutral). The SICK data set was used in SemEval-2014 Task 1, and it freely available for research purposes.", }

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，文本蕴含识别（NLI）是一项基础而关键的任务，旨在判断两个句子之间的语义关系。SICK-FR数据集正是在此背景下应运而生，它是英文SICK数据集的法语版本，通过机器翻译与人工校对相结合的方式构建而成。具体而言，研究团队首先利用先进的神经机器翻译模型opus-mt-tc-big-en-fr，于2023年11月将原始英文句子对批量翻译为法语。随后，在2025年对翻译结果进行了细致的人工修正，以确保语义准确性和语言自然度。除了句子本身的翻译，原始数据集中的配对标识符、标签、句子来源以及训练/验证/测试子集划分等信息均被完整保留，从而维持了与原数据集的结构一致性。

特点

该数据集最显著的特点在于其双语与多任务兼容性。每个法语句子对均附有对应的原始英文句子，使其不仅适用于法语单语NLI任务，还可服务于跨语言或多语言场景。数据集遵循与XNLI相似的TSV格式，便于研究者直接使用。在标注方面，SICK-FR提供了三种标签——蕴含、矛盾与中性，并额外包含了A-B顺序与B-A顺序的蕴含关系标注，为深入分析句子方向性对推理结果的影响提供了可能。数据集规模适中，训练集包含4439对样本，验证集与测试集分别有495对和4906对，涵盖了来自FLICKR与SEMEVAL两个来源的句子，确保了内容的多样性与代表性。

使用方法

使用SICK-FR数据集时，研究者可将其加载为标准的文本分类任务格式。每条样本包含句子A与句子B两个输入，模型需预测二者之间的蕴含关系标签（NEUTRAL、ENTAILMENT或CONTRADICTION）。数据集中提供了pair_ID用于追踪配对来源，以及original_SICK_sentence_A和original_SICK_sentence_B字段，便于进行双语或多语言实验。得益于与XNLI一致的TSV格式，该数据集可直接适配主流的NLI训练框架。研究者可根据任务需求，选择使用法语版本的句子对进行单语训练，或结合英文原始句子探索跨语言迁移学习策略，从而在法语的文本蕴含识别任务上构建更鲁棒的模型。

背景与挑战

背景概述

自然语言推理（NLI）作为评估机器对语义理解与逻辑推断能力的关键任务，长期以英语为主导，而法语等低资源语言的相关数据集极为匮乏。为弥合这一语言鸿沟，Maximos Skandalis、Richard Moot、Christian Retoré与Simon Robillard于2024年在LREC-COLING会议上发布了SICK-FR（法语版SICK）数据集。该数据集基于2014年由Marco Marelli等人创建的英文SICK基准，通过神经机器翻译模型opus-mt-tc-big-en-fr于2023年11月将约一万对句子翻译为法语，并于2025年经人工校正，确保语义忠实与语言自然。SICK-FR聚焦于文本蕴含分类（蕴含、矛盾、中立），保留了原始数据集的配对ID、标签及子集划分，同时收录英文原句以支持多语言与跨语言研究。该工作由法国国防创新署与奥克西塔尼大区网络安全研究所资助，显著扩充了法语NLI资源的有限库，为法语自然语言理解模型的训练与评估提供了可靠基准。

当前挑战

SICK-FR数据集面临的核心挑战首先源于法语NLI领域的资源稀缺性：当前法语NLI任务主要依赖XNLI单一训练集，导致模型易产生数据集特定偏差，泛化能力受限。SICK-FR的构建过程也充满技术难点，机器翻译虽大幅提升效率，但自动翻译难以精准捕捉法语中复杂的句法结构、习语表达及语义细微差异（如量化词的歧义），人工校正虽能缓解此问题，却需投入大量语言专家时间与精力，且校正标准的一致性难以保障。此外，数据规模（约一万对）虽具代表性，但相较于英语SICK的原始体量，法语版本在标注多样性、领域覆盖（如乌克兰战争等时事主题）与长尾现象处理上仍显不足，如何平衡翻译忠实度与语言自然度、避免引入翻译腔，以及确保跨语言迁移任务中标签的语义等价性，均是制约该数据集进一步发挥影响力的关键瓶颈。

常用场景

经典使用场景

SICK-FR-MT数据集是自然语言推理（NLI）领域中一项重要的跨语言资源，其最经典的使用场景在于评估和训练法语文本蕴含模型。该数据集源自广受认可的英文SICK基准，通过神经机器翻译与人工校对，构建了包含近万对法语前提-假设句对的高质量语料库。研究者可借此对预训练语言模型在法语上的语义理解能力进行系统性评测，尤其适用于检验模型在组合性知识（如词汇、句法和语义现象）上的推理表现。其结构与XNLI一致，便于直接迁移现有框架，从而成为法语NLI任务中不可或缺的标准化测试平台。

解决学术问题

该数据集有效缓解了法语自然语言推理领域长期面临的高质量标注数据匮乏的困境。在学术研究中，它解决了跨语言NLI模型泛化能力评估的核心难题——此前多数深度学习模型仅依赖XNLI作为法语训练集，导致模型易受单一数据源偏差影响。SICK-FR-MT通过提供人工校正的细粒度标注，使得研究者能够更可靠地分离模型的语言理解误差与数据偏差，从而推动更鲁棒的跨语言推理算法设计。其引入的双向蕴含标签（A→B与B→A）进一步支持了非对称语义关系的深入探究，为揭示语言模型在方向性推理中的潜在缺陷提供了关键工具。

衍生相关工作

SICK-FR-MT的发布直接催生了多项法语NLI领域的延伸研究。其母论文提出了DACCORD数据集，专注于法语矛盾检测，并联合RTE3-FR与GQNLI-FR构成了更全面的评测体系。后续工作基于该数据集探索了数据增强策略（如回译与对抗扰动）对法语推理模型的影响，以及对比学习框架在跨语言语义对齐中的改进效果。此外，该数据集被用作基准，验证了多任务学习（联合蕴含与语义相关性预测）在低资源语言上的有效性，并推动了解释性NLI模型（如基于注意力机制的证据抽取）在法语场景的适配。