Cognitive-Lab/NayanaIR-MonoBench-or

---
dataset_info:
- config_name: corpus
features:
- name: corpus-id
dtype: int64
- name: image
dtype: image
- name: doc-id
dtype: string
splits:
- name: test
num_bytes: 516240233
num_examples: 1000
download_size: 437587689
dataset_size: 516240233
- config_name: qrels
features:
- name: query-id
dtype: int64
- name: corpus-id
dtype: int64
- name: is-answerable
dtype: string
- name: answer
dtype: string
- name: score
dtype: int64
splits:
- name: test
num_bytes: 14736
num_examples: 307
download_size: 5354
dataset_size: 14736
- config_name: queries
features:
- name: query-id
dtype: int64
- name: query
dtype: string
- name: language
dtype: string
- name: gpt-4o-reasoning
dtype: string
- name: answer
dtype: string
splits:
- name: test
num_bytes: 99424
num_examples: 200
download_size: 44595
dataset_size: 99424
configs:
- config_name: corpus
data_files:
- split: test
path: corpus/test-*
- config_name: qrels
data_files:
- split: test
path: qrels/test-*
- config_name: queries
data_files:
- split: test
path: queries/test-*
---

数据集信息：
- 配置名称：语料库（corpus）
特征字段：
- 特征字段名：corpus-id，数据类型：64位整数（int64）
- 特征字段名：image，数据类型：图像（image）
- 特征字段名：doc-id，数据类型：字符串（string）
数据划分：
- 划分名称：test，占用字节数：516240233，样本总数：1000
下载总大小：437587689字节
数据集实际大小：516240233字节
- 配置名称：相关性判断集（qrels）
特征字段：
- 特征字段名：query-id，数据类型：64位整数（int64）
- 特征字段名：corpus-id，数据类型：64位整数（int64）
- 特征字段名：is-answerable，数据类型：字符串（string）
- 特征字段名：answer，数据类型：字符串（string）
- 特征字段名：score，数据类型：64位整数（int64）
数据划分：
- 划分名称：test，占用字节数：14736，样本总数：307
下载总大小：5354字节
数据集实际大小：14736字节
- 配置名称：查询集（queries）
特征字段：
- 特征字段名：query-id，数据类型：64位整数（int64）
- 特征字段名：query，数据类型：字符串（string）
- 特征字段名：language，数据类型：字符串（string）
- 特征字段名：gpt-4o-reasoning，数据类型：字符串（string）
- 特征字段名：answer，数据类型：字符串（string）
数据划分：
- 划分名称：test，占用字节数：99424，样本总数：200
下载总大小：44595字节
数据集实际大小：99424字节
配置项：
- 配置名称：corpus，数据文件：
- 划分集：test，文件路径：corpus/test-*
- 配置名称：qrels，数据文件：
- 划分集：test，文件路径：qrels/test-*
- 配置名称：queries，数据文件：
- 划分集：test，文件路径：queries/test-*

搜集汇总

数据集介绍

构建方式

在多模态信息检索领域，构建兼具图像与文本特征的高质量评测数据集是推动视觉语言模型发展的关键。该数据集采用三元组结构设计，分别构建语料库（corpus）、查询集（queries）与相关性标注集（qrels）。语料库包含1000个图文样本，每个样本由唯一标识符、图像文件及文档ID组成，确保检索单元的独立性与可溯源性。查询集收录200条自然语言查询，每条查询均附带GPT-4o生成的推理路径与标准答案，以增强查询的语义深度。相关性标注集通过人工或模型标注307对查询-语料关联关系，并引入是否可回答（is-answerable）字段与评分机制，构建起从查询到答案的精准映射。三个子集通过corpus-id与query-id实现逻辑关联，形成完整的评测闭环。

特点

该数据集的核心特色在于其多维度质量保障机制。首先，语料库中的图像与文档ID构成跨模态检索的基本单元，支持图文联合检索任务。其次，查询集引入GPT-4o推理路径，不仅提供标准答案，更揭示了模型对查询的理解过程，为分析检索系统的推理能力提供参照。再者，相关性标注集采用二值可回答性判断与连续评分相结合的方式，既支持传统排序任务，又兼容开放域问答场景。数据规模虽精炼，但200条查询与1000条语料的配置使得评测过程高效可控，特别适合作为视觉语言检索系统的快速验证基准。此外，各子集均以独立配置文件存储，便于模块化加载与扩展。

使用方法

使用该数据集时，需通过HuggingFace Datasets库按配置名称分别加载三个子集。首先加载corpus配置获取图文语料库，随后加载queries配置获取查询文本及推理路径。加载qrels配置后，可利用corpus-id与query-id字段关联查询与语料，构建检索任务。对于检索系统评测，可将查询输入模型，从语料库中召回候选图文对，再依据qrels中的score字段计算NDCG、MRR等指标。若需评估可回答性，可利用is-answerable字段过滤不可回答查询。数据集的test分片已预分片存储，支持流式加载以降低内存占用。用户还可将queries中的gpt-4o-reasoning字段作为参考推理链，用于分析检索模型与语言模型的协同表现。

背景与挑战

背景概述

在视觉与语言交叉领域的研究中，如何精准评估多模态模型对图像内容的理解与检索能力，始终是推动技术演进的核心命题。Cognitive-Lab团队于近期构建了NayanaIR-MonoBench-or数据集，旨在为单语（英语）环境下的图像检索与问答任务提供标准化评测基准。该数据集由corpus、qrels与queries三部分组成，包含1000张测试图像、200条查询及其对应的307条相关性判断，覆盖了从视觉特征到语义推理的多元维度。其发布填补了现有基准在多模态信息检索中缺乏细粒度答案标注的空白，尤其通过引入GPT-4o推理过程与可答性标记，为模型可解释性研究开辟了新路径。该数据集已成为评估视觉语言模型在复杂场景下检索鲁棒性的重要工具，对推动多模态信息检索领域的实证研究具有显著影响力。

当前挑战

当前该数据集面临的核心挑战体现在两个层面。其一，在领域问题层面，多模态检索需同时处理图像视觉特征与自然语言查询之间的语义鸿沟，现有模型在应对包含抽象概念、空间关系或隐含意图的高难度查询时，仍存在显著的检索准确率瓶颈，尤其当图像中存在多目标干扰或背景噪声时，模型容易产生误判。其二，在构建过程中，数据标注的客观性与一致性难以保证，尽管引入了GPT-4o进行辅助推理，但自动生成的答案与人工标注之间可能存在偏差，且307条相关性判断的样本量相对有限，难以覆盖所有可能的查询-图像匹配模式，导致评估结果的统计效力受到制约。此外，跨语言迁移能力的缺失也限制了该数据集在全球场景下的适用性。

常用场景

经典使用场景

在信息检索与多模态理解交叉领域，该数据集为文档级视觉问答与跨模态检索提供了标准化评测基准。其核心设计围绕图像文档（如扫描件、截图）与自然语言查询的配对展开，通过构建包含1000个图文样本的语料库、307条查询-文档关联标注及200个多样化查询的问题集，支持研究者评估模型在复杂文档场景下的语义对齐能力。经典使用范式包括：基于图像内容的多粒度问答（如提取表格数据、解析图表趋势）以及零样本跨模态检索任务，尤其适用于验证视觉语言模型对非结构化文档的推理鲁棒性。

衍生相关工作

该数据集衍生出多项引领性工作，包括但不限于：基于查询推理链的文档级视觉语言模型微调框架，利用GPT-4o的逐步推理过程增强小模型的可解释性；面向不可回答问题的鲁棒性检测方法，通过在is-answerable标签上训练判别器来过滤模型幻觉；以及多模态检索增强生成架构，将corpus-id与文档图像编码器结合，实现端到端的证据级答案生成。这些工作共同推动了文档智能领域从判别式检索向生成式推理的范式迁移，并启发了后续如DocVQA、VisualMRC等基准的改进版本设计。

数据集最近研究

最新研究方向

在视觉问答与多模态信息检索领域，数据集正朝着构建细粒度、多语言、可验证的评估基准演进。Cognitive-Lab/NayanaIR-MonoBench-or 以单语言场景下的图像-文本对为核心，包含1000个图像文档、200个查询及307条相关性标注，并引入GPT-4o的推理链作为辅助信号，旨在推动可解释性检索与答案可验证性的前沿探索。该数据集响应了当前多模态大模型在事实性问答中缺乏可靠评估的痛点，为研究少样本、跨模态对齐及推理增强检索提供了标准化测试平台。其意义在于填补非英语单语环境下高质量评估资源的空白，助力构建更鲁棒、透明且可复现的多模态信息获取系统。