wentao-yuan/robopoint-data

该数据集包含1432K个图像-QA实例，用于微调RoboPoint，一个用于空间可预测性的视觉语言模型。数据集由多个部分组成，包括347K个来自合成数据管道的对象参考实例、320K个来自合成数据管道的自由空间参考实例、100K个来自LVIS数据集的对象检测实例、150K个来自LLaVA-Instruct-150K的GPT生成的指令跟随实例，以及515K个来自多个学术任务的通用VQA实例。数据集结构包括一个包含对话和图像引用的JSON文件，以及一个包含参考图像的压缩文件夹。

This dataset contains 1432K image-QA instances used to fine-tune RoboPoint, a VLM for spatial affordance prediction. It consists of 347K object reference instances and 320K free space reference instances from a synthetic data pipeline, 100K object detection instances from the LVIS dataset, 150K GPT-generated instruction-following instances, and 515K general-purpose VQA instances from various academic-oriented tasks. The dataset structure includes a JSON file with a list of conversations with image references and a compressed folder containing reference images.

搜集汇总

背景与挑战

背景概述

该数据集包含1432K个图像-QA实例，用于微调RoboPoint模型，涵盖合成数据、LVIS对象检测、GPT生成指令及多个学术VQA任务。数据集采用webdataset格式，大小在1M-10M之间，使用Apache 2.0许可证。