maximoss/rte3-french

RTE3-FR数据集是RTE-3挑战赛中使用的英文文本蕴含数据集的法语翻译版本。它包含开发集和测试集，每个集合包含800个T/H对，这些对都是手动翻译并校对过的。数据集支持自然语言推理（NLI）任务，也称为识别文本蕴含（RTE），这是一个句子对分类任务。数据集的字段包括id、语言、前提、假设、标签、标签文本、任务和长度。数据集的划分显示了不同标签和任务类型的分布。

原始信息汇总

数据集概述

数据集名称

RTE3-FR

数据集描述

• 语言: 法语 (fr)
• 大小: 1K<n<10K
• 任务类别: 文本分类
• 任务ID: 自然语言推理, 多输入文本分类
• 许可证: cc-by-4.0

数据集内容

• 数据集总结: RTE3-FR是用于文本蕴含的英语数据集的法语翻译版本，包含开发集和测试集，每个集合包含800个T/H对。所有T/H对均已手动翻译并校对。
• 支持的任务和排行榜: 该数据集适用于自然语言推理（NLI）任务，也称为识别文本蕴含（RTE），这是一个句子对分类任务。

数据集结构

• 数据字段:

  • id: 索引号。
  • language: 相关句子对的语言。
  • premise: 目标语言中的翻译前提。
  • hypothesis: 目标语言中的翻译假设。
  • label: 分类标签，可能值为0（蕴含）、1（中性）、2（矛盾）。
  • label_text: 分类标签，可能值为entailment（0）、neutral（1）、contradiction（2）。
  • task: 数据来源的特定NLP任务（IE, IR, QA, SUM）。
  • length: 文本对的长度。

• 数据分割:

  • 开发集和测试集的分类标签分布和文本长度分布。

引用信息

• BibTeX: BibTeX @inproceedings{skandalis-etal-2024-new-datasets, title = "New Datasets for Automatic Detection of Textual Entailment and of Contradictions between Sentences in {F}rench", author = "Skandalis, Maximos and Moot, Richard and Retor{e}, Christian and Robillard, Simon", booktitle = "Proceedings of the 2024 Joint International Conference on Computational Linguistics, Language Resources and Evaluation (LREC-COLING 2024)", publisher = "ELRA and ICCL", pages = "12173--12186" }

• ACL: Maximos Skandalis, Richard Moot, Christian Retoré, and Simon Robillard. 2024. New Datasets for Automatic Detection of Textual Entailment and of Contradictions between Sentences in French. In Proceedings of the 2024 Joint International Conference on Computational Linguistics, Language Resources and Evaluation (LREC-COLING 2024), pages 12173–12186, Torino, Italy. ELRA and ICCL.

搜集汇总

数据集介绍

构建方式

RTE3-French数据集源自RTE-3挑战赛所使用的英文文本蕴含数据集，经过人工翻译与校对，形成了法文版本。该数据集包含开发集与测试集，各含800对前提-假设（T/H）对，所有句子均由母语者手动翻译并经过专业审校，以确保翻译质量与语义保真度。数据集采用三分类标注体系，即蕴含、中立与矛盾，并保留了原始英文数据中的任务来源信息（如信息抽取、信息检索、问答与摘要）以及文本长度特征。

特点

该数据集的核心特点在于其多维度标注结构与跨语言兼容性。每个样本不仅包含前提与假设的法文翻译文本，还提供了语言标签、分类标签（数值与文本形式）、任务来源及文本长度等字段。数据集的类别分布呈现一定的不均衡性，蕴含类样本占据多数，而矛盾类样本相对稀少，这为模型鲁棒性评估提供了挑战。此外，该数据集与德文、意大利文及英文版本形成多语言体系，便于开展跨语言与多语言自然语言推理研究。

使用方法

该数据集适用于自然语言推理（NLI）或文本蕴含识别（RTE）任务，属于句子对分类问题。用户可通过HuggingFace Datasets库加载数据，利用'id'、'premise'、'hypothesis'、'label'等字段构建输入与标签。推荐使用预训练语言模型（如CamemBERT、FlauBERT等法文模型）进行微调训练，并采用开发集进行验证、测试集评估最终性能。同时，结合RTE3-Multi数据集可实现多语言或跨语言场景下的模型训练与评测。

背景与挑战

背景概述

RTE3-French数据集诞生于2024年，由Maximos Skandalis、Richard Moot、Christian Retoré和Simon Robillard等研究人员共同构建，旨在填补法语自然语言推理（NLI）任务中高质量标注数据的匮乏。该数据集源自英文版RTE-3挑战赛，通过人工翻译和校对将800对文本蕴涵样本（前提-假设对）转化为法语，并保留了原始的三分类标注体系（蕴含、中立、矛盾）。作为多语言NLI生态的重要补充，RTE3-French与同期发布的DACCORD、GQNLI-FR等数据集共同拓展了法语文本推理研究的边界，为评估跨语言模型在低资源场景下的泛化能力提供了关键基准。其研究价值不仅体现在对经典任务的语种迁移，更在于揭示了当前深度学习模型在面对非英语NLI任务时训练数据单一（如仅依赖XNLI）的局限性，推动了更鲁棒评估策略的发展。

当前挑战

RTE3-French数据集面临的核心挑战在于：其一，法语NLI任务长期受限于训练数据匮乏，现有模型多依赖英文数据微调或跨语言迁移，导致在法语特有语言现象（如冠词系统、动词变位）上的推理能力薄弱，数据集需验证模型在细粒度语义矛盾（如量化歧义）上的判别力；其二，构建过程中人工翻译的语义保真度与标注一致性难以完全保证——尽管经过双重校对，源语言（英语）的逻辑结构在转换为法语时可能引入隐含偏差，例如对‘预设触发语’的翻译差异会改变蕴涵关系；其三，数据规模较小（开发集与测试集各800对），且类别分布不均衡（矛盾类样本仅占约10%），这既限制了深度学习模型对少数类的学习能力，也增加了统计显著性评估的难度，亟需通过数据增强或联合训练策略缓解偏差。

常用场景

经典使用场景

RTE3-French数据集是自然语言推理（NLI）领域中的一项重要资源，它源自英语RTE-3挑战赛，经过人工精心翻译与校对，构建了包含800对前提-假设句子的开发集与测试集。该数据集以三分类任务为核心，即判断句子对之间的蕴含、中立或矛盾关系，广泛应用于评估和提升模型在法语语境下的文本蕴含识别能力。其经典使用场景包括作为基准测试集，用于衡量跨语言NLI模型的泛化性能，以及作为多语言对比研究中的法语分支，支持语言间的系统化比较。

实际应用

在实际应用中，RTE3-French数据集可赋能多种法语自然语言处理系统。例如，在智能问答系统中，它可用于验证答案与问题之间的逻辑一致性；在信息检索场景中，帮助判断检索结果是否蕴含用户查询意图；在文本摘要评估中，自动检测摘要是否忠实于原文。此外，该数据集还支持法语对话系统的矛盾检测能力，提升人机交互的可靠性。其与德语、意大利语等多语言版本的协同使用，更可助力跨语言信息处理产品的开发与优化。

衍生相关工作

RTE3-French数据集的发布催生了多项后续研究。Skandalis等人（2024）基于该数据集与DACCORD、GQNLI-FR共同构建了法语NLI评测基准，系统分析了不同模型在法语上的表现差异。此外，该数据集被用于多语言NLI模型的迁移学习实验，探索从英语到法语的零样本与少样本学习策略。其与原始RTE-3及德、意译本的结合，也促进了跨语言对比研究，例如评估预训练语言模型（如XLM-R、mBERT）在法语上的推理能力，并为构建更均衡、更少偏见的多语言训练集提供了实证基础。