maximoss/sick_el-gr_mt

该数据集是SICK（Sentences Involving Compositional Knowledge）数据集的现代希腊语机器翻译版本，用于文本蕴含任务（NLI）。文本蕴含任务是一种句子对分类任务，目标是预测句子A是否蕴含、矛盾或与句子B无关。除了对句子对进行机器翻译外，数据集的其他信息（如句子对ID、标签、句子来源数据集、训练/验证/测试集划分）均与原始英文数据集保持一致。数据集以TSV格式存储，与广泛使用的XNLI数据集格式相似，并且与法文版SICK数据集兼容，可用于结合英文、希腊文和法文的多语言NLI任务。

原始信息汇总

数据集卡片 for Dataset Name

数据集描述

数据集概述

该仓库包含SICK（涉及组合知识的句子）数据集的现代希腊语机器翻译版本。目标是预测文本蕴涵（句子A是否蕴含/矛盾/既不蕴含也不矛盾句子B），这是一个分类任务（给定两个句子，预测三个标签之一）。除了机器翻译句子对外，其余信息（对ID、标签、每个句子的源数据集、训练/开发/测试子集分区）与原始英语数据集保持一致。

该数据集以类似于广泛使用的XNLI数据集的TSV格式进行格式化，以便于使用。它还与法语版本的SICK兼容，如果一起使用，可以进行三语言NLI任务（英语、希腊语、法语），因为它们都保持相同的列名。

支持的任务和排行榜

该数据集可用于自然语言推理（NLI）任务，也称为识别文本蕴涵（RTE），这是一个句子对分类任务。

数据集结构

数据字段

• pair_ID: 句子对ID。
• sentence_A: 句子A，在其他NLI数据集中也称为前提。
• sentence_B: 句子B，在其他NLI数据集中也称为假设。
• entailment_label: 文本蕴涵金标签（NEUTRAL, ENTAILMENT, 或 CONTRADICTION）。
• entailment_AB: A-B顺序的蕴涵标签（A_neutral_B, A_entails_B, 或 A_contradicts_B）。
• entailment_BA: B-A顺序的蕴涵标签（B_neutral_A, B_entails_A, 或 B_contradicts_A）。
• original_SICK_sentence_A: 来自英语源数据集的原始前提。
• original_SICK_sentence_B: 来自英语源数据集的原始假设。
• sentence_A_dataset: 提取原始句子A的数据集（FLICKR vs. SEMEVAL）。
• sentence_B_dataset: 提取原始句子B的数据集（FLICKR vs. SEMEVAL）。

数据拆分

name	Entailment	Neutral	Contradiction	Total
train	1274	2524	641	4439
validation	143	281	71	495
test	1404	2790	712	4906

对于A-B顺序：

name	A_entails_B	A_neutral_B	A_contradicts_B
train	1274	2381	784
validation	143	266	86
test	1404	2621	881

对于B-A顺序：

name	B_entails_A	B_neutral_A	B_contradicts_A
train	606	3072	761
validation	84	329	82
test	610	3431	865

数据集创建

该数据集是从英语机器翻译到现代希腊语的，使用的是最新的神经机器翻译opus-mt-tc-big模型，该模型适用于现代希腊语。句子翻译于2023年11月26日进行。

附加信息

引用信息

BibTeX:

BibTeX @inproceedings{skandalis-etal-2024-new-datasets, title = "New Datasets for Automatic Detection of Textual Entailment and of Contradictions between Sentences in {F}rench", author = "Skandalis, Maximos and Moot, Richard and Retor{e}, Christian and Robillard, Simon", editor = "Calzolari, Nicoletta and Kan, Min-Yen and Hoste, Veronique and Lenci, Alessandro and Sakti, Sakriani and Xue, Nianwen", booktitle = "Proceedings of the 2024 Joint International Conference on Computational Linguistics, Language Resources and Evaluation (LREC-COLING 2024)", month = may, year = "2024", address = "Torino, Italy", publisher = "ELRA and ICCL", url = "https://aclanthology.org/2024.lrec-main.1065", pages = "12173--12186", abstract = "This paper introduces DACCORD, an original dataset in French for automatic detection of contradictions between sentences. It also presents new, manually translated versions of two datasets, namely the well known dataset RTE3 and the recent dataset GQNLI, from English to French, for the task of natural language inference / recognising textual entailment, which is a sentence-pair classification task. These datasets help increase the admittedly limited number of datasets in French available for these tasks. DACCORD consists of 1034 pairs of sentences and is the first dataset exclusively dedicated to this task and covering among others the topic of the Russian invasion in Ukraine. RTE3-FR contains 800 examples for each of its validation and test subsets, while GQNLI-FR is composed of 300 pairs of sentences and focuses specifically on the use of generalised quantifiers. Our experiments on these datasets show that they are more challenging than the two already existing datasets for the mainstream NLI task in French (XNLI, FraCaS). For languages other than English, most deep learning models for NLI tasks currently have only XNLI available as a training set. Additional datasets, such as ours for French, could permit different training and evaluation strategies, producing more robust results and reducing the inevitable biases present in any single dataset.", }

@inproceedings{marelli-etal-2014-sick, title = "A {SICK} cure for the evaluation of compositional distributional semantic models", author = "Marelli, Marco and Menini, Stefano and Baroni, Marco and Bentivogli, Luisa and Bernardi, Raffaella and Zamparelli, Roberto", editor = "Calzolari, Nicoletta and Choukri, Khalid and Declerck, Thierry and Loftsson, Hrafn and Maegaard, Bente and Mariani, Joseph and Moreno, Asuncion and Odijk, Jan and Piperidis, Stelios", booktitle = "Proceedings of the Ninth International Conference on Language Resources and Evaluation ({LREC}14)", month = may, year = "2014", address = "Reykjavik, Iceland", publisher = "European Language Resources Association (ELRA)", url = "http://www.lrec-conf.org/proceedings/lrec2014/pdf/363_Paper.pdf", pages = "216--223", abstract = "Shared and internationally recognized benchmarks are fundamental for the development of any computational system. We aim to help the research community working on compositional distributional semantic models (CDSMs) by providing SICK (Sentences Involving Compositional Knowldedge), a large size English benchmark tailored for them. SICK consists of about 10,000 English sentence pairs that include many examples of the lexical, syntactic and semantic phenomena that CDSMs are expected to account for, but do not require dealing with other aspects of existing sentential data sets (idiomatic multiword expressions, named entities, telegraphic language) that are not within the scope of CDSMs. By means of crowdsourcing techniques, each pair was annotated for two crucial semantic tasks: relatedness in meaning (with a 5-point rating scale as gold score) and entailment relation between the two elements (with three possible gold labels: entailment, contradiction, and neutral). The SICK data set was used in SemEval-2014 Task 1, and it freely available for research purposes.", }

ACL:

Maximos Skandalis, Richard Moot, Christian Retoré, and Simon Robillard. 2024. New Datasets for Automatic Detection of Textual Entailment and of Contradictions between Sentences in French. In Proceedings of the 2024 Joint International Conference on Computational Linguistics, Language Resources and Evaluation (LREC-COLING 2024), pages 12173–12186, Torino, Italy. ELRA and ICCL.

And

Marco Marelli, Stefano Menini, Marco Baroni, Luisa Bentivogli, Raffaella Bernardi, and Roberto Zamparelli. 2014. A SICK cure for the evaluation of compositional distributional semantic models. In Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC14), pages 216–223, Reykjavik, Iceland. European Language Resources Association (ELRA).

搜集汇总

数据集介绍

构建方式

该数据集是基于英文SICK语料库，通过先进的神经机器翻译模型opus-mt-tc-big将句子对从英语自动翻译为现代希腊语而构建的。翻译工作于2023年11月26日完成，确保了翻译质量的时效性。除了句子内容的语言转换外，原始数据集中所有其他信息，包括句子对ID、文本蕴含标签、每个句子的来源数据集以及训练、验证、测试子集的划分，均被完整保留。数据集采用与广泛使用的XNLI数据集类似的TSV格式进行组织，便于研究者直接使用。

特点

该数据集专为自然语言推理任务设计，包含近一万个现代希腊语句子对，每个句子对均标注了中性、蕴含或矛盾三种蕴含关系。数据集不仅提供了标准的A-B方向蕴含标签，还额外提供了B-A方向的标签，支持双向推理分析。其结构与法语版SICK数据集保持一致，使得研究者能够将英语、希腊语和法语版本结合，构建多语言自然语言推理任务。数据集中句子对来源于FLICKR和SEMEVAL两个语料库，增强了数据的多样性和代表性。

使用方法

该数据集可直接用于训练和评估现代希腊语的文本蕴含分类模型。使用时，研究者可将句子A和句子B作为模型输入，预测蕴含标签。数据集已按标准划分为训练集（4439对）、验证集（495对）和测试集（4906对），便于进行模型训练、调参和性能评估。此外，利用其与法语SICK版本兼容的列名结构，研究者可轻松整合多语言数据，开展跨语言迁移学习或多语言联合训练实验。

背景与挑战

背景概述

在自然语言处理领域，文本蕴含识别（Recognizing Textual Entailment）是衡量模型语义理解与推理能力的关键任务，其核心在于判断两个句子间的蕴含、矛盾或中立关系。SICK数据集（Sentences Involving Compositional Knowledge）由Marco Marelli等学者于2014年创建，旨在为组合分布语义模型提供标准化评估基准，涵盖约10,000个英语句子对，广泛应用于SemEval-2014等评测任务。然而，由于资源稀缺，现代希腊语等低资源语言在该任务上长期缺乏高质量标注数据。为此，Maximos Skandalis等研究人员于2023年11月26日利用先进的神经机器翻译模型opus-mt-tc-big-en-el，将SICK数据集自动翻译为现代希腊语版本，形成本数据集。该工作作为法国国防创新局及Occitanie大区资助的科研项目的一部分，发表于LREC-COLING 2024，为多语言NLI研究提供了新的数据支撑，对拓展文本蕴含任务的语言覆盖范围具有重要学术价值。

当前挑战

本数据集面临的核心挑战首先体现在低资源语言NLI任务的领域瓶颈上：现代希腊语缺乏大规模、人工标注的文本蕴含数据集，使得模型训练与评估高度依赖机器翻译数据，而翻译过程可能引入语义失真或歧义，影响标签的准确性。其次，构建过程中存在技术性难题：使用单方向机器翻译模型（英语→希腊语）虽能快速扩增数据，但难以保证翻译结果忠实保留原句的蕴含关系，例如否定结构、量化词等复杂语义现象在翻译后可能发生偏移，导致标签错误。此外，数据集规模较小（约10,000对），且仅覆盖单一翻译方向，缺乏反向验证或人工校对环节，可能加剧模型对翻译噪声的过拟合。这些挑战制约了该数据集在跨语言NLI任务中的鲁棒性与泛化能力，亟需更精细的翻译质量评估与多源数据融合策略来缓解。

常用场景

经典使用场景

在自然语言处理领域，文本蕴含识别（Recognizing Textual Entailment）是评估模型语义理解能力的关键任务。maximoss/sick_el-gr_mt数据集作为经典SICK数据集的现代希腊语机器翻译版本，为低资源语言的研究提供了重要的基准资源。该数据集包含约一万个句子对，每对标注了蕴含、矛盾或中性三种关系，适用于训练和评估多语言文本蕴含模型。其结构与XNLI兼容，便于跨语言联合训练，尤其适合探究机器翻译质量对下游NLI任务的影响，以及验证多语言预训练模型在希腊语上的泛化能力。研究者可借此分析不同语言间语义推理的共性与差异，推动多语言自然语言理解的发展。

解决学术问题

该数据集有效缓解了现代希腊语在自然语言推理领域标注资源匮乏的困境。此前，希腊语的NLI研究多依赖小规模手工标注或直接使用英文模型进行零样本迁移，导致评估结果存在偏差。通过提供大规模、标准化的希腊语蕴含标注数据，研究者能够系统性地量化机器翻译引入的噪声对语义推理任务的影响，并对比不同翻译模型（如opus-mt-tc-big）的适用性。此外，该数据集与法文版SICK的协同使用，为探索多语言联合训练中的跨语言知识迁移机制提供了实验平台，揭示了语言特异性与通用语义表征之间的相互作用，对构建鲁棒的多语言NLI系统具有重要理论价值。

衍生相关工作

该数据集的衍生工作主要围绕多语言NLI模型的扩展与优化展开。Skandalis等人（2024）在LREC-COLING上发表了基于此数据集的基准实验，比较了不同翻译策略对希腊语NLI任务的影响，并提出了多语言联合训练框架。后续研究借鉴了其与法文版SICK的兼容性设计，构建了涵盖英语、希腊语、法语的三语言NLI评估套件，用于检验跨语言语义表征的一致性。此外，该数据集被用于微调多语言预训练模型（如XLM-R），评估其在希腊语上的零样本与少样本学习能力，催生了针对希腊语语义推理的领域适配方法。这些工作共同推动了低资源语言NLI研究的系统化发展，为构建更公平的多语言评估体系奠定了基础。