gRefCOCO
收藏资源简介：
gRefCOCO是由复旦大学团队构建的广义指代表达数据集，扩展自经典RefCOCO数据集，首次系统支持多目标（如‘穿红衣服的孩子’）和无目标（如‘不存在的对象’）表达场景。该数据集包含25.9万条基于COCO图像的标注数据，涵盖实例级掩码和边界框，通过自然语言描述与视觉目标的复杂关联。其构建过程通过人工标注和语义增强实现，旨在推动计算机视觉与自然语言处理交叉领域的多模态理解，解决现有方法在真实场景中灵活性和鲁棒性不足的问题，适用于智能图像编辑、人机交互等应用场景。
gRefCOCO is a generalized referring expression dataset constructed by the Fudan University research team, extended from the classic RefCOCO dataset. For the first time, it systematically supports multi-object and no-object referring scenarios, exemplified by "the child in red clothing" and "non-existent object". This dataset includes 259,000 annotated samples based on COCO images, covering instance-level masks and bounding boxes, and captures complex associations between natural language descriptions and visual targets. Developed via manual annotation and semantic augmentation, gRefCOCO aims to advance multimodal understanding in the interdisciplinary domain of computer vision and natural language processing, addressing the shortcomings of insufficient flexibility and robustness of existing methods in real-world scenarios. It is applicable to application scenarios such as intelligent image editing and human-computer interaction.
GREx数据集概述
数据集名称
GREx (Generalized Referring Expression Segmentation, Comprehension, and Generation)
核心定义
GREx是三个新基准的集合，统称为广义指代表达式任务，旨在克服经典指代表达式任务（REx）的局限性。它扩展了经典的指代表达式分割（RES）、理解（REC）和生成（REG），允许表达式指示任意数量的目标对象。
包含的具体任务
- 广义指代表达式分割（GRES）：输入为图像和指代表达式，输出为分割掩码。
- 广义指代表达式理解（GREC）：输入为图像和指代表达式，输出为目标检测框。
- 广义指代表达式生成（GREG）：为多个选定的对象生成简洁自然的表达式。
关键扩展与特点
- 支持多目标表达式：允许一个表达式通过共性或关系指示多个对象（例如，基于类别、属性、计数或复合描述）。
- 支持无目标表达式：允许表达式不匹配图像中的任何对象。
- 向后兼容性：GREx和其数据集gRefCOCO被设计为与经典的REx任务向后兼容。
- 应用范围更广：超越了单一对象，使任务更贴近现实场景。
数据集 (gRefCOCO)
- 性质：第一个包含多目标、无目标和单目标表达式及其对应带标注目标图像的大规模GREx数据集。
- 目的：用于研究现有REx方法在GREx任务上的性能差距。
- 许可：采用CC-BY-NC-SA-4.0许可，仅用于非商业研究目的。
- 下载地址：
- Hugging Face
- Google Drive
提供的资源
- 基线代码与模型：
- GRES基线 (ReLA)
- GREC基线
- 相关论文与代码链接：
- GRES (CVPR 2023)
- MOSE
- MeViS
统计信息（页面显示数值为0，具体数量需参考实际数据）
- 表达式总数
- 多目标或无目标表达式数量
- 被指代的不同对象数量
- 高质量掩码标注数量
核心贡献团队
- Henghui Ding (复旦大学)
- Chang Liu (上海财经大学)
- Shuting He (上海财经大学)
- Xudong Jiang (南洋理工大学)
- Yu-Gang Jiang (复旦大学)
引用信息
bibtex @article{GREx, title={{GREx}: Generalized Referring Expression Segmentation, Comprehension, and Generation}, author={Ding, Henghui and Liu, Chang and He, Shuting and Jiang, Xudong and Jiang, Yu-Gang}, journal={IJCV}, year={2026}, publisher={Springer} } @inproceedings{GRES, title={{GRES}: Generalized Referring Expression Segmentation}, author={Liu, Chang and Ding, Henghui and Jiang, Xudong}, booktitle={CVPR}, year={2023} }
- 1GREx: Generalized Referring Expression Segmentation, Comprehension, and Generation复旦大学 · 2026年
