MGrounding-630k
收藏资源简介：
MGrounding-630k是一个大规模的多图像定位训练数据集，包含从现有数据集派生的多个多图像定位任务的数据，以及新生成的自由形式定位指令跟随数据。
MGrounding-630k is a large-scale multi-image grounding training dataset, which contains data for multiple multi-image grounding tasks derived from existing datasets, as well as newly generated free-form grounding instruction-following data.
Migician 数据集概述
数据集简介
Migician 是一个用于多图像定位任务的数据集，旨在支持多模态大语言模型（MLLMs）在多图像场景中的精确定位能力。该数据集由 MGrounding-630k 和 MIG-Bench 两部分组成。
- MGrounding-630k：包含 630k 条多图像定位任务数据，涵盖了多种任务类型，如常见物体定位、差异检测、自由形式定位、群体定位、物体跟踪、参考定位和区域定位。
- MIG-Bench：一个专门用于评估多图像定位能力的基准数据集，包含 10 种不同的任务类型。
数据集结构
MGrounding-630k
数据集按任务类型分类，主要包含以下子任务：
- Common_Object：常见物体定位任务，数据来源于 COCO、ImageNet 和 Object365。
- Difference：差异检测任务，数据来源于 clevr-change、img-diff、magicbrush 和 spot-the-diff。
- Free-Form：自由形式定位任务，数据来源于 Object365。
- Group_Grounding：群体定位任务，数据来源于 SA-1B。
- Object_Tracking：物体跟踪任务，数据来源于 GOT-10k、LaSOT、MOT17_image 和 TrackingNet。
- Referring_Grounding：参考定位任务，数据来源于 ImageNet。
- Region_Locating：区域定位任务，数据来源于 Object365。
MIG-Bench
MIG-Bench 数据集包含 10 种任务类型，每个任务类型下有对应的图像和标注数据。数据集结构如下：
- images：包含不同任务类型的图像数据。
- MIG_data.json：包含所有测试样本的标注信息，格式为 JSON。
数据集使用
数据下载
- MGrounding-630k：可通过 Huggingface 下载，下载代码位于
./data/download.py。 - MIG-Bench：可通过 Huggingface 下载，文件结构为
./eval/MIG-Bench。
数据格式
- MGrounding-630k：每个训练样本包含多个图像路径和对话数据，对话数据中包含了定位任务的输入和输出。
- MIG-Bench：每个测试样本包含任务类型、图像路径、问题和真实答案，答案以归一化的坐标形式给出。
模型训练与评估
模型训练
Migician 模型基于 Qwen2-VL-7B 进行微调，训练过程分为两个阶段，使用 Llamafactory 进行全参数微调。
模型评估
- MIG-Bench：用于评估多图像定位能力，支持对七种不同模型的评估，包括 Migician、Qwen2-VL、InternVL2、MiniCPM-V_2.6、LLaVA-OneVision、mPLUG-Owl3 和 Mantis。
- 评估指标：包括 IOU@0.7、IOU@0.5、IOU@0.3 和平均 IOU 分数。
引用
bibtex @article{li2025migician, title={Migician: Revealing the Magic of Free-Form Multi-Image Grounding in Multimodal Large Language Models}, author={Li, You and Huang, Heyu and Chen, Chi and Huang, Kaiyu and Huang, Chao and Guo, Zonghao and Liu, Zhiyuan and Xu, Jinan and Li, Yuhua and Li, Ruixuan and others}, journal={arXiv preprint arXiv:2501.05767}, year={2025} }
