five

DeepPavlov/qrecc_fr

收藏
Hugging Face2026-04-30 更新2026-05-03 收录
下载链接:
https://hf-mirror.com/datasets/DeepPavlov/qrecc_fr
下载链接
链接失效反馈
官方服务:
资源简介:
--- dataset_info: features: - name: answer_url dtype: large_string - name: conversation_no dtype: int64 - name: turn_no dtype: int64 - name: conversation_source dtype: large_string - name: context large_list: - name: content dtype: large_string - name: role dtype: large_string - name: question dtype: large_string - name: rewrite dtype: large_string - name: answer dtype: large_string splits: - name: train num_bytes: 65901459 num_examples: 63501 - name: test num_bytes: 17651905 num_examples: 16451 download_size: 19896708 dataset_size: 83553364 configs: - config_name: default data_files: - split: train path: data/train-* - split: test path: data/test-* ---
提供机构:
DeepPavlov
搜集汇总
数据集介绍
main_image_url
构建方式
qrecc_fr数据集基于英文QReCC数据集构建,经过专业化法语翻译与适配流程而成。原始数据源自Google自然问题与TREC Web语料库的多轮对话交互,涵盖超过79,952组问答对。构建过程中,研究人员将对话上下文、原始问题、答案及人工改写后的明确问题逐条转化为法语,确保语义等价与语言自然度。数据集以对话轮次与来源编号组织,每轮包含上下文、角色标注及最终回复,训练集与测试集分别包含63,501及16,451个样本,总规模约83.5MB。
特点
该数据集的核心特色在于其法语多轮对话检索增强架构,每个样本均包含原始问题与人工改写后的去指代版本,为研究对话查询重写提供基准。数据字段丰富,涵盖answer_url、conversation_source等元信息,并针对每轮对话存储完整上下文与角色序列(system/user)。其双语对齐特性使研究者能直接对比英法多轮交互模式,同时大整数类型的轮次编号支持时序建模,便于分析对话历史依赖关系。
使用方法
使用该数据集时,可借助HuggingFace Datasets库直接加载,通过`load_dataset('qrecc_fr')`获取默认配置下的训练与测试分片。研究者可利用'question'与'rewrite'字段训练法语查询重写模型,或基于'context'历史进行多轮会话问答微调。字段对如'answer_url'可辅助验证答案来源,而'conversation_no'与'turn_no'支持按对话分组采样。建议在加载时指定split参数以区分训练与测试集,并对大文本字段进行分词与动态填充以适配不同规模的Transformer模型。
背景与挑战
背景概述
qrecc_fr数据集是面向多轮对话场景下问句改写任务的法语版本,由研究团队基于原始QReCC数据集构建而成。该数据集创建于近年来对话系统与信息检索交叉研究蓬勃发展的时期,旨在解决对话历史依赖下的问题重构挑战。通过提供包含对话上下文、原始问题及其改写版本的丰富实例,qrecc_fr为法语自然语言处理领域提供了重要的基准资源,推动了跨语言对话理解与语义解析技术的发展,尤其对法语社区中的对话式问答系统研究产生了深远影响。
当前挑战
该数据集所应对的核心领域挑战在于多轮对话中问句的指代消解与信息补全问题,即如何基于对话历史准确地将后续提问转化为独立可检索的标准化表述。构建过程中面临的主要困难包括:法语复杂口语表达与缩略形式的规范化处理、对话主题漂移时上下文边界的确切划分、以及人工标注一致性的严格把控——给定类似对话语境,不同标注者对改写结果的歧义判断可能产生差异。此外,跨领域对话场景的覆盖有限,使得模型在迁移至特定垂直领域时泛化能力面临考验。
常用场景
经典使用场景
在多轮对话研究领域,qrecc_fr数据集以其精细的对话结构标注而备受青睐。该数据集收录了来自真实用户与搜索引擎交互的对话记录,每个会话包含多个轮次,并提供了上下文、原始问题、改写问题及对应答案。研究者主要利用它来训练和评估对话问答系统,特别是在需要理解上下文依赖与指代消解的复杂场景中,该数据集为构建能够捕捉对话历史与当前查询之间动态关联的模型提供了坚实基准。
衍生相关工作
基于qrecc_fr数据集,研究者已衍生出多项经典工作。例如,对话上下文建模与重写机制的研究中,出现了利用该数据集训练基于Transformer的跨轮次查询重写模型;在多轮问答系统的评估框架中,该数据集被用作标准测试集来对比不同对话历史编码策略的效果。此外,还有工作探索了对话状态追踪与指代消解任务的联合学习,以及基于该数据集的法语预训练语言模型微调范式,这些研究共同推动了多轮对话技术的精细化发展。
数据集最近研究
最新研究方向
qrecc_fr数据集的诞生顺应了多轮对话问答系统中查询重构研究的浪潮,尤其在法语这一低资源语言场景下填补了关键空白。当前前沿方向聚焦于利用大规模上下文感知的查询重写技术,结合预训练语言模型(如mT5、XLM-R)提升对话历史理解与跨语言泛化能力。伴随欧洲多语种AI政策推进及法语区智能助手需求激增,该数据集被广泛用于评估对话状态追踪与答案生成的一致性,其结构化字段(如rewrite)为研究显式查询消歧提供了高质量基准,对推动多语言信息检索与开放域对话系统的公平性发展具有标志性意义。
以上内容由遇见数据集搜集并总结生成
二维码
社区交流群
二维码
科研交流群
商业服务