FineCops-Ref
收藏资源简介：
Referring Expression Comprehension (REC) 是一个基础的跨模态任务，评估语言理解、图像理解和语言到图像的基础能力。为了推动这一领域的发展，我们引入了一个新的REC数据集，具有两个关键特点。首先，它设计了可控的难度级别，需要在对象类别、属性和多跳关系之间进行多层次的细粒度推理。其次，它通过细粒度编辑和增强生成了负面文本和图像，明确测试模型在目标对象缺失时的拒绝能力——这是现有数据集中经常被忽视但至关重要的挑战。
Referring Expression Comprehension (REC) is a fundamental cross-modal task that evaluates the core capabilities of language comprehension, visual understanding, and language-to-image alignment. To advance the development of this field, we introduce a novel REC dataset with two key distinguishing features. First, it incorporates controllable difficulty levels, requiring multi-level, fine-grained reasoning across object categories, attributes, and multi-hop relational information. Second, it generates negative text and image samples via fine-grained editing and augmentation, explicitly testing the model's rejection capability when the target object is absent—a critical yet often overlooked challenge in existing datasets.
FineCops-Ref 数据集概述
📜 数据集基本信息
- 名称: FineCops-Ref
- 发布年份: 2024年6月17日
- 相关论文:
- 会议论文: EMNLP 2024
- 期刊论文: TPAMI 2025
- 数据集地址: https://github.com/liujunzhuo/FineCops-Ref
👀 数据集特点
- 可控难度级别:
- 需要多层次的细粒度推理，涵盖对象类别、属性和多跳关系。
- 挑战性负样本:
- 通过细粒度编辑和增强生成的负文本和图像，测试模型在目标对象缺失情况下的拒绝能力。
🎯 任务描述
- 任务类型: Referring Expression Comprehension (REC)
- 任务目标: 评估语言理解、图像理解和语言到图像的基础能力。
👨💻 数据准备
- 下载数据集:
- 主数据集: FineCops-Ref
- 可选数据集: Ref-Adv, Ref-Reasoning
- 存放路径:
data/finecops-ref/,data/ref-adv/,data/ref-reasoning/
- 预训练模型:
- Specialist Models: Grounding DINO
- MLLMs: Qwen-VL, InternVL
- 存放路径:
checkpoints/
🎯 使用方法
1. 基线方法
- 脚本:
inference_GD.py(Grounding DINO)inference_QwenVL.py(Qwen2-VL)
- 评估指标:
- Precision, Recall, AUROC (通过
evaluation_baseline.py计算)
- Precision, Recall, AUROC (通过
2. Slow-Fast Adaptation (SFA)
- 目标提取:
target_extraction.py - 任务路由:
task_routing.py - 推理:
- Level 1: 使用 Specialist Models
- Level 2: 使用 MLLMs
- 评估:
evaluation_SFA.py
3. Candidate Region Selection (CRS)
- 候选区域生成:
candidate_generation.py - 指令调优:
- 数据集:
refcoco_CRS_pos.json,refcoco_CRS_neg.json
- 数据集:
- 推理:
region_selection_pos.pyregion_selection_neg.py
- 评估:
evaluation_CRS_pos.pyevaluation_CRS_neg.py
📜 引用
bibtex @article{yang2025new, title={New Dataset and Methods for Fine-Grained Compositional Referring Expression Comprehension via Specialist-MLLM Collaboration}, author={Yang, Xuzheng and Liu, Junzhuo and Wang, Peng and Wang, Guoqing and Yang, Yang and Shen, Heng Tao}, journal={IEEE Transactions on Pattern Analysis and Machine Intelligence}, year={2025}, }
📄 许可证
- 许可证类型: MIT License
