mm-eval/NLVR2

--- dataset_info: features: - name: id dtype: string - name: media list: image - name: messages dtype: string splits: - name: balanced_dev num_bytes: 783308745 num_examples: 2300 - name: balanced_test_public num_bytes: 814420384 num_examples: 2316 - name: balanced_test_unseen num_bytes: 654490947 num_examples: 2124 - name: unbalanced_dev num_bytes: 1218951662 num_examples: 3562 - name: unbalanced_test_unseen num_bytes: 1285962989 num_examples: 3668 - name: unbalanced_test_public num_bytes: 1170438614 num_examples: 3536 download_size: 5846891162 dataset_size: 5927573341 configs: - config_name: default data_files: - split: balanced_dev path: data/balanced_dev-* - split: balanced_test_public path: data/balanced_test_public-* - split: balanced_test_unseen path: data/balanced_test_unseen-* - split: unbalanced_dev path: data/unbalanced_dev-* - split: unbalanced_test_unseen path: data/unbalanced_test_unseen-* - split: unbalanced_test_public path: data/unbalanced_test_public-* ---

原始信息汇总

数据集概述：NLVR2

• 数据集名称：NLVR2（Natural Language Visual Reasoning for Real-World）
• 来源：mm-eval/NLVR2
• 模态：图像（Image）、文本（Text）
• 格式：parquet、optimized-parquet
• 大小：10K - 100K 行（具体为17.5k行）
• 支持的库：Datasets、Dask、Polars 等
• 用途：多模态评估（mm-evaluation），用于自然语言视觉推理任务

数据集拆分（Splits）

• balanced_dev：2.3k 行
• balanced_test_public：2.32k 行
• balanced_test_unseen：2.12k 行
• unbalanced_dev：3.56k 行
• unbalanced_test_unseen：3.67k 行
• unbalanced_test_public：3.54k 行

数据样例结构

每条记录包含以下字段：

• id：字符串，长度9-12
• media images：列表，长度2（通常包含两张图片）
• messages：列表，长度固定（每个消息包含角色、问题、答案等信息）
  • role：如 "user"
  • question：自然语言问题，例如："At least one hand is touching a furry dog in each image, and no image includes a non-dog pet."
  • answer：布尔值（True/False）
  • hint：提示（通常为空）
  • options、choices：额外选项（通常为空）
  • synset：WordNet同义词集标签，例如："Great Pyrenees"
  • writer：标注者ID

任务类型

• 给定两张图片和一个自然语言命题，模型需判断该命题是否成立（True/False）。
• 命题通常涉及两个图片之间的比较、数量、颜色、空间关系等推理，例如：
  • "One dog has something in its mouth."（True/False）
  • "The left image contains exactly two open-mouthed corgis, and the right image includes a row of three corgis."（True/False）

数据特点

• 每行包含两张图片（media images）和一个推理问题（messages）。
• 答案以布尔值形式提供，便于二分类评估。
• 覆盖多种物体类别（如动物、食物、家具等），每个类别通过 synset 标识。

搜集汇总

数据集介绍

构建方式

NLVR2数据集专注于多模态语义理解，旨在探究视觉与语言之间的深层关联。该数据集的构建围绕自然语言语句与对应图像对展开，每个样本包含一个唯一标识符、一幅图像以及一条描述性语句。数据存储采用结构化格式，通过id字段区分样本，media字段以列表形式承载图像信息，而messages字段则记录语言陈述。数据集划分精细，分为balanced（平衡）与unbalanced（非平衡）两大类别，每类下再细分为dev、test_public与test_unseen三个子集，总计覆盖约1.7万个样本，以支持模型在多种分布条件下的训练与评估。

特点

该数据集的显著特点在于其双维度平衡性设计：balanced子集通过精心筛选确保正负样本比例均衡，为模型性能提供可靠的基准测试环境；unbalanced子集则模拟真实世界中的分布不均，考察模型对偏态数据的适应能力。此外，test_unseen子集引入未见过的图像或陈述组合，专门用于评估模型的泛化性能。所有图像与陈述均经过人工审核，保证语义的清晰与一致性，从而强化任务难度与评测的信度。这种结构化划分使得NLVR2成为视觉语言推理研究中极具代表性的基准。

使用方法

使用NLVR2数据集时，研究者可通过HuggingFace Datasets库直接加载，利用config_name指定default配置即可获取全部子集的分片数据。推荐采用balanced_dev子集进行模型调参，balanced_test_public与balanced_test_unseen分别用于标准测试与鲁棒性评估。针对实际部署场景，unbalanced系列子集更适合检验模型在数据倾斜条件下的表现。数据处理时需关注messages字段中的自然语言陈述与图像之间的对齐关系，通常采用预训练视觉编码器与语言模型联合微调的方式，以完成二分类推理任务。

背景与挑战

背景概述

NLVR2（Natural Language Visual Reasoning 2）数据集于2019年由普林斯顿大学等机构的研究人员创建，旨在推动视觉推理与自然语言理解的交叉领域研究。该数据集围绕核心研究问题——即模型是否能够通过自然语言描述对图像对进行精确的逻辑判断——而设计，要求系统不仅理解视觉内容，还需掌握语言中的否定、比较、量化等复杂语义关系。作为多模态推理任务的重要基准，NLVR2对后续的视觉语言模型（如ViLT、UNITER等）开发产生了深远影响，促进了跨模态对齐与推理能力的评估标准建立。

当前挑战

该数据集所解决的领域问题主要在于视觉推理中语言与图像的细粒度对齐挑战，例如模型需区分“左侧图像中有一只狗”与“右侧图像中有两只狗”等细微差异。构建过程中，研究人员面临两大困难：一是设计覆盖众多逻辑运算符（如否定、数量词、空间关系）的自然语言描述，确保数据多样性与难度平衡；二是通过众包方式收集图像对与语句时，需严格控制标注质量，消除歧义并保证逻辑一致性，最终构造出包含超过十万条样本的多层次推理数据集。

常用场景

经典使用场景

NLVR2（Natural Language Visual Reasoning 2）数据集是视觉推理领域中一颗璀璨的明珠，它专为评估模型在自然语言与图像交织的复杂场景下的理解能力而设计。该数据集的核心任务在于，给定两张图片和一个描述性的自然语言句子，模型需要精准判断该句子是否正确地描述了两张图片之间的语义关系。经典使用场景聚焦于多模态语义对齐与推理，要求模型不仅具备细粒度的视觉感知能力，更需融会贯通语言的逻辑结构，从而在视觉与文本的鸿沟之间架起一座理解的桥梁。这种二元分类任务看似简洁，却深刻考验着模型对于空间关系、数量、比较以及否定等复杂语言现象的驾驭能力，成为检验多模态模型智能水平的试金石。

衍生相关工作

NLVR2的诞生如同一块激浪石，在多模态学习领域引发了涟漪般密集的衍生工作。经典之作诸如“VisualBERT”与“UNITER”等预训练模型，均将NLVR2作为核心评测基准，通过引入跨模态注意力机制与局部对齐策略，显著提升了在视觉语言推理任务上的表现。此外，像“LXMERT”这样的模型专门为此类任务设计了编码器-解码器架构，专注于学习视觉与语言之间的双向对齐。更富有启发性的是，后续工作如“VL-BART”与“OFA”等统一框架，尝试将NLVR2的推理逻辑融入生成式预训练体系，从而在视觉语言生成与理解的任务中实现双轮驱动。这些工作不仅验证了NLVR2作为标杆数据集的独特价值，更推动了一系列关于“细粒度视觉关系图构建”与“逻辑语义形式化表达”的研究热潮，影响深远。

数据集最近研究

最新研究方向

在视觉-语言推理（VLR）领域，NLVR2数据集凭借其对抗自然语言与图像逻辑关系的独特设计，持续成为推动多模态模型深度理解能力的前沿基准。近年来的研究热点聚焦于借助大规模预训练模型（如CLIP、BLIP-2）在NLVR2的平衡与不平衡分割上进行细粒度推理，探索模型在否定、量词、空间关系等复杂逻辑结构中的表现偏差。与此同时，该数据集被广泛用于评估模型对分布外场景的泛化能力，尤其在‘平衡测试未见集’上，研究者通过对比不同架构对未见过组合的响应，揭示了当前模型在组合泛化与跨模态对齐层面的本质局限。NLVR2的持续迭代不仅促进了如ViLT、ALBEF等高效架构的涌现，更推动了可解释性推理与对抗样本鲁棒性研究的深耕，成为衡量多模态系统逻辑可信度不可或缺的试金石。