allenai/Molmo2-VideoPoint

Molmo2-VideoPoint是一个从人类标注者收集的视频指向数据集，可用于通过指向微调视觉语言模型进行视频定位。该数据集是Molmo2数据集集合的一部分，并用于训练Molmo2系列模型。数据集包含多种视频来源（YouTube、生成视频和MammalNet），并提供了原始视频和2FPS重新编码视频的时间戳、2D坐标点、标注者不确定标记以及查询类别等信息。Molmo2-VideoPoint is a dataset of video pointing data collected from human annotators. It can be used to fine-tune vision-language models for video grounding by pointing. Molmo2-VideoPoint is part of the Molmo2 dataset collection and was used to train the Molmo2 family of models. The dataset includes various video sources (YouTube, generated, and MammalNet), and provides information such as timestamps for raw and 2FPS re-encoded videos, 2D coordinate points, annotator unsure flags, and query categories.

搜集汇总

背景与挑战

背景概述

该数据集是一个大规模视频点标注数据集，包含约130万条来自人类标注者的指向数据，涵盖9个子类别（如物体、动作/事件等）。数据包括视频ID、问题、标签、时间戳及2D坐标点，可用于微调视觉语言模型进行视频定位任务。视频来源包括YouTube、生成视频和MammalNet，许可证为ODC-BY。