DeepPavlov/canard_fr

这是一个法语翻译数据集，由`data-translate upload-datasets`工具导出。数据集包含三个配置：corpus（语料库）、queries（查询）和qrels（查询相关文档），每个配置都分为训练、验证和测试分割。

French translated dataset exported by `data-translate upload-datasets`. It includes three configurations: corpus, queries, and qrels, each with train, validation, and test splits.

搜集汇总

数据集介绍

构建方式

基于英文原始语料库CANARD，通过机器翻译与人工校正相结合的方式构建而成。首先利用先进的神经机器翻译模型将英文查询与上下文翻译为法语，随后由母语为法语的标注者进行质量校验与语义修正，确保翻译后的对话逻辑与意图保持高度一致。数据被划分为三个核心组件：corpus（包含对话上下文与历史）、queries（用户当前轮次的查询）以及qrels（查询与文档的相关性标注），并按标准比例分割为训练、验证和测试子集。

特点

作为法语对话查询与文档相关性评测的专用资源，其独特之处在于保留了交互式信息检索场景中的多轮对话结构。每个查询均嵌入具体的对话历史语境，使得模型能够学习上下文相关的意图理解。同时，qrels组件提供了细粒度的相关性标注，支持从二分类到多级相关性判断的多种评测任务。此外，该数据集与英文原版保持结构一致，便于开展跨语言信息检索研究。

使用方法

可通过HuggingFace Datasets库直接加载，采用一键式调用模式。用户可指定corpus、queries或qrels配置名称获取对应子集，并利用split参数训练、验证或测试分区。在检索系统评估中，建议以queries中的对话历史与当前查询为输入，通过corpus提供的文档集合进行检索，最后利用qrels计算NDCG、MAP等标准指标。该数据集特别适用于对话式问答、任务型对话系统及跨语言信息检索模型的训练与基准测试。

背景与挑战

背景概述

在对话式信息检索领域，用户查询的模糊性与上下文依赖性构成了关键挑战，为此，研究者提出了CANARD（Contextualized ANswer Retrieval Dataset）数据集，该数据集起源于英文环境，旨在通过提供上下文增强的查询-答案对来推动对话检索技术的发展。canard_fr作为其法语翻译版本，由DeepPavlov团队通过自动化翻译流程创建，旨在将这一研究拓展至跨语言场景。该数据集的核心研究问题在于评估和提升检索系统在法语对话中理解上下文并准确定位相关信息的能力，为多语言对话检索系统的评估提供了标准化基准，对自然语言处理领域中的跨语言迁移学习研究具有重要影响。

当前挑战

canard_fr数据集所解决的领域挑战主要在于法语对话检索任务中上下文依赖的复杂性，即如何从多轮对话中准确提取与当前查询相关的历史信息以回应模糊或渐进式问题。构建过程中的挑战则涉及翻译质量的可控性：自动化翻译可能引入语义偏差或丢失原有数据集中的文化特定指代（如法语中对“vous”和“tu”等尊称区别的处理），同时需确保翻译后的查询、文档与相关性判断（qrels）保持逻辑一致性，避免因语言转换导致的上下文断裂或检索目标扭曲。

常用场景

经典使用场景

在信息检索与对话系统的交叉领域中，canard_fr数据集为法语语境下的查询澄清与重写任务提供了宝贵的资源。该数据集由三个核心组成部分构成：文档语料库（corpus）、原始查询（queries）以及查询与文档之间的相关性判断（qrels）。经典使用场景包括基于上下文的查询重构，即利用多轮对话的历史信息，将模糊或不完整的用户问题转化为清晰、自包含的检索查询，从而提升检索系统的准确性和用户体验。

解决学术问题

该数据集聚焦于解决多轮对话中查询歧义性这一核心学术难题。在开放域对话系统中，用户常使用指代、省略或简略表达，导致独立查询缺乏明确语义。canard_fr通过提供法语对话历史与对应重写查询的配对，使得研究者能够训练模型自动将上下文信息融入查询，实现语义消歧。这一工作对于推动多轮对话理解、上下文感知检索以及跨语言信息获取的理论发展具有重要的范式意义。

衍生相关工作

围绕canard_fr数据集的发布，学术界涌现了一系列基于序列到序列模型和预训练语言模型的查询重写工作。经典工作包括利用T5或BART架构进行法语查询的上下文感知生成，以及将重写任务融入端到端对话系统的研究。此外，该数据集还催生了跨语言迁移学习方向的探索，研究者利用其与英文CANARD数据集的对应结构，验证了多语言共享表示的可行性，推动了低资源语言信息检索技术的进步。