JierunChen/Ref-L4

Ref-L4是一个综合性的指代表达理解（REC）基准数据集，专门设计用于评估现代REC模型。该数据集具有以下四个关键特点：1) 包含45,341个注释的大样本量；2) 涵盖365种不同对象类别的多样化范围，实例规模从30到3,767不等；3) 平均长度为24.2个单词的较长指代表达；4) 包含22,813个独特单词的广泛词汇。数据集文件结构包括图像、验证集和测试集的分割，以及RefCOCO、RefCOCO+和RefCOCOg基准的审查注释。注释格式为每个图像提供一个字典，包含唯一标识符、文本描述、边界框坐标等信息。数据集遵循CC BY-NC 4.0许可证，并引用了多个源数据集的许可证。Ref-L4是一个综合性的指代表达理解（REC）基准数据集，专门设计用于评估现代REC模型。该数据集具有以下四个关键特点：1) 包含45,341个注释的大样本量；2) 涵盖365种不同对象类别的多样化范围，实例规模从30到3,767不等；3) 平均长度为24.2个单词的较长指代表达；4) 包含22,813个独特单词的广泛词汇。数据集文件结构包括图像、验证集和测试集的分割，以及RefCOCO、RefCOCO+和RefCOCOg基准的审查注释。注释格式为每个图像提供一个字典，包含唯一标识符、文本描述、边界框坐标等信息。数据集遵循CC BY-NC 4.0许可证，并引用了多个源数据集的许可证。

原始信息汇总

数据集概述

数据集名称

• Ref-L4

数据集描述

Ref-L4是一个专为评估现代指称表达理解（REC）模型而设计的综合基准。它解决了现有基准如RefCOCO、RefCOCO+和RefCOCOg在标签错误率高的问题，通过排除问题实例并重新评估多个LMMs，显著提高了准确性。

数据集特点

1. 样本数量：包含45,341个标注。
2. 对象类别：涵盖365种不同的类型，实例规模从30到3,767不等。
3. 表达长度：平均24.2个单词。
4. 词汇量：包含22,813个独特单词。

数据集组织结构

• 数据集包括图像、验证集和测试集。
• 提供RefCOCO、RefCOCO+和RefCOCOg的审核标注。

文件结构

bash Ref-L4 ├── images.tar.gz ├── README.md ├── refcocos_annotation_reviewed │ ├── refcocog_test_reviewed.json │ ├── refcocog_val_reviewed.json │ ├── refcoco+_testA_reviewed.json │ ├── refcoco_testA_reviewed.json │ ├── refcoco+_testB_reviewed.json │ ├── refcoco_testB_reviewed.json │ ├── refcoco+_val_reviewed.json │ └── refcoco_val_reviewed.json ├── ref-l4-test.parquet └── ref-l4-val.parquet

标注格式

每个标注项包含以下字段：

• id：唯一标识符。
• caption：文本描述。
• bbox：边界框坐标。
• bbox_area：边界框面积。
• bbox_id：边界框唯一标识符。
• ori_category_id：原始类别标识符。
• image_id：图像唯一标识符。
• height：图像高度。
• width：图像宽度。
• file_name：图像文件名。
• is_rewrite：是否为重写后的描述。
• split：数据集分割类型（val或test）。

许可证

• 数据集使用Creative Commons Attribution-NonCommercial 4.0 International (CC BY-NC 4.0) license。
• 图像数据来源于多个数据集，每个数据集都有其各自的许可证。

搜集汇总

数据集介绍

构建方式

在 referring expression comprehension（REC）领域，针对现有基准数据集存在标注错误率较高的问题，研究团队通过排除有问题的样本并对多个大型多模态模型进行重新评估，提出了Ref-L4数据集。该数据集的构建基于对RefCOCO、RefCOCO+和RefCOCOg的深入分析与修正，包含了45,341个标注样本，涵盖了365种不同的物体类别，标注表达式平均长度为24.2个单词，使用了22,813个独特的词汇，旨在为现代REC模型提供全面的评估基准。

特点

Ref-L4数据集的特点在于其样本规模的庞大性、物体类别的多样性、标注表达式的长度以及词汇的丰富性。它不仅提供了大量的标注数据，而且确保了标注质量，通过排除原有数据集中的错误标注，提高了数据集的真实性和评估的有效性。此外，数据集的构建考虑了不同尺度的物体实例，使得评估更为全面。

使用方法

用户可以通过Ref-L4的GitHub仓库获取dataloader和evaluation的API，以便加载和评估数据集。数据集以Parquet文件格式存储，包含了验证集和测试集的分割。同时，数据集还提供了经过审查的RefCOCO、RefCOCO+和RefCOCOg基准数据集的标注，方便用户进行对比研究。遵循相应的许可协议，用户可以合规地使用这些数据进行研究工作。

背景与挑战

背景概述

Ref-L4数据集是在对现有引言表达式理解（REC）基准测试进行深入分析后创建的，旨在评估大型多模态模型在REC任务上的综合能力。该数据集由Jierun Chen等人于近期提出，针对现有基准测试如RefCOCO、RefCOCO+和RefCOCOg中存在的高标注错误率问题进行了优化，引入了45,341个注释的庞大样本量，覆盖365种不同的对象类别，其表达式平均长度为24.2个单词，包含22,813个独特词汇，为现代REC模型提供了一套全面的评估标准。

当前挑战

该数据集在构建过程中面临的挑战主要包括：确保标注质量，以减少错误率；设计能够全面评估大型多模态模型能力的多样化任务；以及处理和整合来自不同来源和许可的数据集。在所解决的领域问题方面，Ref-L4数据集挑战在于如何通过精确的标注和丰富的样本，确保模型能够理解和定位文本描述中的目标实例，进而提高图像引言表达式理解的准确性和鲁棒性。

常用场景

经典使用场景

在机器视觉与自然语言处理的交汇领域，Ref-L4数据集以其独特的构造和丰富的标注信息，成为评估现代指代表达理解模型能力的经典场景。该数据集通过提供详细的对象描述和边界框坐标，促使模型能够精确地定位图像中的目标实例。

实际应用

在实际应用中，Ref-L4数据集的应用场景广泛，可涉及智能图像标注、内容推荐系统以及基于图像的问答系统等。其高质量的标注和多样化的对象类别为开发能够处理复杂场景的智能系统提供了宝贵的数据资源。

衍生相关工作

基于Ref-L4数据集，研究者们已经衍生出一系列相关工作，包括但不限于对现代指代表达理解模型的评估、错误标注的分析与改进，以及多模态信息处理技术的探索，这些工作进一步推动了视觉与语言领域的研究进展。