lmms-lab/RefCOCOplus

该数据集是RefCOCO+的格式化版本，用于lmms-eval管道中，以便一键评估大规模多模态模型。数据集包含question_id、image、question、answer、segmentation、bbox、iscrowd和file_name等字段，并分为val、testA和testB三个划分。

原始信息汇总

数据集概述

数据集信息

特征

• question_id: 字符串类型
• image: 图像类型
• question: 字符串类型
• answer: 字符串序列
• segmentation: 浮点数序列
• bbox: 浮点数序列
• iscrowd: 整数类型
• file_name: 字符串类型

分割

• val:
  • 字节数: 666424807.0
  • 样本数: 3805
• testA:
  • 字节数: 340832481.0
  • 样本数: 1975
• testB:
  • 字节数: 315916715.0
  • 样本数: 1798

大小

• 下载大小: 526623149
• 数据集大小: 1323174003.0

配置

• config_name: default
  • 数据文件:
    • val: data/val-*
    • testA: data/testA-*
    • testB: data/testB-*

搜集汇总

数据集介绍

构建方式

RefCOCOplus数据集源自经典的RefCOCO+语料库，专门针对图像中目标对象的指代理解任务而设计。该数据集经由lmms-eval评估流水线进行格式化处理，旨在支持大规模多模态模型的一站式评测。构建过程中，原始数据被重新组织为包含图像、问题、答案、分割掩码、边界框及拥挤标记等字段的结构化格式。数据集划分为验证集、测试A集和测试B集，分别包含3805、1975和1798个样本，覆盖了不同难度的指代场景，确保评估的全面性与层次性。

特点

该数据集的核心特点在于其细粒度的多模态对齐能力，每个样本均提供图像、自然语言指代问题以及对应的分割掩码和边界框，支持从语义理解到空间定位的端到端评估。此外，数据集中引入的拥挤标记（iscrowd）有效区分了密集场景与孤立目标，为模型在复杂视觉环境中的鲁棒性测试提供了关键维度。这些特性使RefCOCOplus成为检验多模态模型指代理解与精细分割能力的权威基准。

使用方法

使用RefCOCOplus数据集时，研究人员可通过HuggingFace Datasets库直接加载预划分的验证集与测试集，无需额外预处理。模型需基于给定图像和自然语言问题生成目标区域的边界框或分割掩码，并与标准答案进行对比评估。该数据集已集成至lmms-eval框架，支持一键式评测，用户仅需配置模型接口即可自动化完成指标计算，极大简化了多模态模型的标准化测试流程。

背景与挑战

背景概述

RefCOCO+数据集诞生于2014年，由Sahar Kazemzadeh、Vicente Ordonez、Mark Matten与Tamara Berg等研究人员在EMNLP会议上提出，其核心研究问题聚焦于自然场景图像中的指代表达理解——即根据自然语言描述定位并分割图像中的特定目标。该数据集基于MS COCO图像库，通过众包方式收集了包含物体边界框与分割掩码的指代描述，成为评估多模态模型细粒度视觉理解能力的基准之一。在大型多模态模型（LMMs）蓬勃发展的背景下，lmms-lab团队将其重构为标准格式，集成至lmms-eval评估流水线中，显著降低了模型性能评测的复杂度，推动了视觉-语言跨模态研究的标准化进程。

当前挑战

RefCOCO+数据集所解决的领域挑战在于指代表达理解中的语义歧义与空间关系推理难题，模型需精准解析描述性短语（如‘穿红衣服的人’）并区分相似目标，这对视觉定位与语言理解的协同能力提出严苛要求。在数据集构建过程中，挑战主要体现为：原始众包标注中描述风格与粒度的高度不一致性，需通过过滤与标准化确保数据质量；将原始refer格式适配至lmms-eval统一规范时，需处理图像、边界框、分割掩码等多模态数据结构的对齐问题；此外，测试集划分为testA（涉及多目标场景）与testB（侧重单目标场景）的差异化设计，增加了模型泛化性评估的复杂性。

常用场景

经典使用场景

RefCOCO+数据集在视觉与语言交叉领域中扮演着基石角色，其核心任务为参照表达理解与定位，即给定一句自然语言描述，模型需从图像中精准识别并分割出所指代的目标物体。该数据集精心构建了包含19,994张图像的庞大集合，每张图像均附有详尽的分割掩码、边界框及多轮人工标注的参照表达语句。研究者常以此为基础，评估模型在细粒度视觉语义对齐与空间关系推理上的能力，例如判断模型能否理解“左边穿红色衬衫的人”这类包含属性与位置约束的复杂指令。该场景的经典性在于其要求模型同时掌握语言解析、视觉感知与跨模态对齐三重任务，是检验多模态智能体综合水平的试金石。

衍生相关工作

基于RefCOCO+数据集，学术界衍生了一系列里程碑式的工作。在模型架构方面，MAttNet（CVPR 2018）首次提出模块化注意力网络，将参照表达分解为外观、位置与关系子模块进行联合推理；而TransVG（CVPR 2022）则引入Transformer架构直接建模语言与视觉特征的全局关联。在训练范式创新上，UNITER（ECCV 2020）将该数据集纳入大规模预训练框架，验证了跨模态对比学习对下游定位任务的增益效果。此外，RefCOCO+还与GAN生成模型结合，衍生出如“基于参照表达的内容编辑”等新颖任务，允许用户用文字指令修改图像中的特定区域。这些工作共同构建了从经典定位到多模态生成的完整研究脉络，持续推动着视觉语言理解的边界拓展。

数据集最近研究

最新研究方向

RefCOCO+数据集作为多模态大模型评估基准的前沿研究方向，紧密围绕视觉定位与语言理解的深度融合。当前研究热点聚焦于利用该数据集评测大型多模态模型（LMMs）在细粒度指代表达理解任务上的表现，特别是在复杂场景中准确分割和定位目标物体的能力。随着lmms-eval评估流水线的集成，RefCOCO+推动了模型从粗粒度图像描述向精准视觉推理的演进，成为连接自然语言与像素级语义的关键桥梁。该数据集在视觉问答、人机交互和自动驾驶等热点事件中扮演着验证模型鲁棒性的核心角色，其影响力体现在为新一代多模态智能系统提供了标准化测试基准，加速了从学术研究到工业应用的转化进程。