RefCOCO

该数据集是一个视觉定位数据集，它要求选择与给定短语描述相符的图像区域。此外，该模型生成与图像中短语相匹配的视觉标记ID，并基于交并比（IoU）进行评估。该任务属于指代表达式理解。

This dataset is a visual grounding dataset that requires selecting image regions consistent with the description of a given phrase. Additionally, the model needs to generate visual token IDs matching the phrase in the image, and its performance is evaluated based on Intersection over Union (IoU). This task falls under the category of referring expression comprehension.

搜集汇总

背景与挑战

背景概述

RefCOCO是一个指代表达数据集集合，包含RefClef、RefCOCO、RefCOCO+和RefCOCOg四个子数据集，支持多种数据分割方式。使用前需下载特定数据文件并准备图像数据，通过提供的API进行数据加载和处理。