vidore/shiftproject_test

该数据集是一个特定主题的检索基准，涵盖了多个领域，并评估了在更现实的工业应用中的检索能力。数据集包含来自Shift Project的法语文档，主题为环境。数据集的法语特性使得ViDoRe能够评估检索模型的多语言能力。数据集包含了从Shift Project报告中收集的5个大型文档，每个主题有1000页文档，并生成了100个问题和答案。由于查询和答案是通过视觉语言模型生成的，因此人工注释者对它们进行了广泛的质量和相关性过滤。

This dataset is part of a topic-specific retrieval benchmark spanning multiple domains, which evaluates retrieval in more realistic industrial applications. It includes French documents from the Shift Project about the environment. Having a dataset in French allows ViDoRe to evaluate the multilingual ability of a retrieval model. The dataset contains 5 large documents collected from Shift Project reports, with 1,000 document pages per topic, and 100 questions and answers generated using a high-quality proprietary vision-language model. As the queries and answers are generated using a Vision Language Model, human annotators extensively filtered them for quality and relevance.

原始信息汇总

数据集概述

数据集信息

• 特征:
  • query: 字符串类型
  • image: 图像类型
  • image_filename: 字符串类型
  • answer: 字符串类型
  • page: 字符串类型
  • model: 字符串类型
  • prompt: 字符串类型
  • source: 字符串类型
• 分割:
  • test: 包含1000个样本，大小为429379568字节
• 下载大小: 397960570字节
• 数据集大小: 429379568字节
• 配置:
  • default: 数据文件路径为data/test-*
• 任务类别:
  • 视觉问答
  • 问答
• 语言: 法语
• 标签:
  • 环境
  • 文档检索
  • 视觉问答
  • 问答
• 大小类别: n<1K
• 许可证: MIT

数据集描述

该数据集是跨多个领域的主题特定检索基准的一部分，评估在更现实的工业应用中的检索效果。数据集包括来自Shift Project的关于环境的法语文档。

数据收集

从Shift Project报告中收集了5份大型文档，每个主题总计1,000页文档。这些文档与使用Claude-3 Sonnet生成的高质量视觉语言模型生成的100个问题和答案相关联。

数据整理

由于查询（和答案）是使用视觉语言模型生成的，因此人类注释者对其进行了广泛的质量和相关性过滤。

数据集结构

数据集实例的结构如下： json features:

• name: query dtype: string
• name: image dtype: image
• name: image_filename dtype: string
• name: answer dtype: string
• name: page dtype: string
• name: model dtype: string
• name: prompt dtype: string
• name: source dtype: string

搜集汇总

数据集介绍

构建方式

在环境议题日益受到全球关注的背景下，vidore/shiftproject_test数据集应运而生，旨在为多领域检索基准提供法语环境文档的评测资源。该数据集精心选自Shift Project的五份长篇报告，共计1000个文档页面，并借助Claude-3 Sonnet这一先进专有视觉语言模型，自动生成了100组与之对应的高质量问答对。为确保数据质量，人工标注者对生成的查询与答案进行了严格的筛选与审核，剔除了低质量或无关内容，从而构建了一个兼具专业性与可靠性的评测集合。

使用方法

研究者可通过HuggingFace Datasets库便捷加载该数据集，使用`load_dataset("vidore/shiftproject_test", split="test")`命令即可获取测试集。数据以字典形式组织，包含图像、文本等字段，适用于视觉语言模型的检索与问答能力评估。建议将查询字段作为输入，结合文档图像进行检索或生成答案，并利用答案字段进行准确性验证。该数据集特别适合用于评测模型在法语环境文档上的多语言理解与检索性能，为ViDoRe等基准提供标准化测试平台。

背景与挑战

背景概述

在文档检索与视觉问答领域，多语言与多领域场景下的模型泛化能力一直是研究焦点。vidore/shiftproject_test数据集由Manuel Faysse等人于2024年创建，作为ViDoRe基准测试的组成部分，旨在评估检索模型在工业级应用中的真实表现。该数据集聚焦于环境主题，收录了来自Shift Project的五份大型法文报告，共计1000个文档页面，并借助Claude-3 Sonnet生成了100组高质量问答对。通过引入法语文档，该数据集为评估检索模型的多语言能力提供了关键支撑，推动了视觉语言模型在跨语言文档理解与检索任务中的发展。

当前挑战

该数据集所解决的领域问题在于，现有检索基准多集中于英文场景，缺乏对多语言环境尤其是法语文档检索能力的系统性评估。构建过程中面临两大挑战：其一，需要从海量环境主题报告中筛选出具有代表性与多样性的文档页面，确保覆盖不同内容类型与版面结构；其二，自动生成的问答对虽由先进视觉语言模型产生，但需经人工标注者严格筛选以剔除噪声与不相关条目，这一过程耗时且需确保标注一致性，从而保障数据集的质量与可靠性。

常用场景

经典使用场景

该数据集隶属于ViDoRe多领域检索基准，聚焦于环境主题的法语文档，专为评估视觉文档检索与文档问答任务而设计。其典型应用在于测试视觉语言模型在工业级场景中从长文档中精准定位信息的能力，例如从Shift Project报告页中提取与查询匹配的片段。数据集的1000个页面与100组问答对覆盖了环境领域的复杂知识结构，为模型在法语环境下的跨模态理解与检索性能提供了标准化测试平台。

解决学术问题

该数据集有效回应了视觉文档检索领域两大核心难题：一是多语言场景下检索模型的泛化能力不足，二是现有基准缺乏对工业级长文档的细粒度评估。通过引入法语法境与真实报告页面，它填补了非英语环境文档检索研究的空白。其意义在于推动检索模型从简单图文匹配向复杂语义理解演进，为评估模型在低资源语言上的视觉-语言对齐能力树立了新标杆，进而促进了多模态信息检索理论的完善。

实际应用

在实际应用中，该数据集支撑了企业级文档管理系统的智能化升级，例如环境咨询公司利用其训练模型自动从数千页报告中检索相关法规或数据。它也被部署于法语地区的数字图书馆与知识库，辅助用户通过自然语言查询快速定位特定图表或段落。此外，在可持续发展领域，研究者可基于此数据集构建工具，自动化提取环境报告中的关键指标，提升政策分析与合规审查的效率。

数据集最近研究

最新研究方向

在视觉文档检索与问答领域，该数据集聚焦于多语言环境下的工业级检索能力评估，尤其针对法语环境主题文档。随着大型视觉语言模型（如Claude-3 Sonnet）的快速发展，研究前沿正转向利用生成式模型构建高质量、场景化的问答对，以弥补传统人工标注数据在规模与多样性上的不足。该数据集通过人类注释者精炼过滤自动生成的查询与答案，确保了数据质量与领域相关性，为评估检索模型在跨语言、跨模态场景下的鲁棒性提供了关键基准。其关联的ViDoRe基准测试推动了多语言文档检索技术的进步，对于应对全球环境议题中的信息获取挑战具有重要实践意义。