rvos-motion-questions

RVOS Motion Questions 是一个基于指代视频对象分割（RVOS）指代表达式合成的基准式运动问题数据集。该数据集旨在将描述视频中对象运动的自然语言表达式（例如“向左移动的大象”）转化为结构化的运动问题，其答案是一个运动属性，如方向、计数、顺序或动作，并以被指代的对象作为问题的主体。数据集的每一行都对应一个源RVOS基准中的指代表达式，但不包含视频像素、真实分割掩码或问题答案本身。相反，它通过元数据字段（包括源数据集名称、分割集、视频标识符、表达式ID和对象ID）引用源视频片段。用户需要持有相应的源RVOS基准数据（如Ref-DAVIS17、MeViS、ReVOS或Ref-YouTube-VOS）的本地副本，才能根据这些引用获取视频帧和真实掩码，并在评估时从基准的真实数据中推导出答案。因此，该数据集本质上是一组“基于真实分割标注的运动问题”，用于评估模型如何根据问题理解并追踪视频中的指定对象。数据模式包含唯一标识符（id）、源数据集（dataset）、分割集（split）、视频键（video）、表达式ID（exp_id）、对象ID列表（obj_ids）、原始指代表达式（expression）、最终生成的运动问题（question）、问题所属的运动类别（question_type）以及问题来源（question_source，如模型自选、人工选择的候选或人工编写）。问题通过一个自动化流水线生成，该流水线利用视觉语言模型为每个表达式生成多个候选问题并自选最佳，部分经过人工审核。问题类型综合了多个现有视频运动问答基准的类别，覆盖了方向、旋转、轨迹、速度、动作、顺序、计数等多种运动维度。该数据集主要适用于由自然语言问题驱动的指代视频对象分割（RVOS）任务评估，即测试模型在给定一个关于对象运动的问题时，能否准确地分割并追踪视频中指定的对象。评估通常通过比较模型预测的分割掩码与源基准提供的真实掩码（使用Jaccard指数J和边界F分数）来进行。数据集规模小于1000个样本，遵循研究用途许可，但用户必须单独获取并遵守其所引用的各个源视频数据集的许可证。RVOS Motion Questions is a benchmark-style motion question dataset based on referring video object segmentation (RVOS) referring expressions. It aims to convert natural language expressions describing object motion in videos (e.g., the elephant moving to the left) into structured motion questions, where the answer is a motion attribute such as direction, count, order, or action, with the referred object as the subject of the question. Each row in the dataset corresponds to a referring expression from a source RVOS benchmark but does not include video pixels, ground truth segmentation masks, or the question answers themselves. Instead, it references source video clips through metadata fields, including source dataset name, split set, video identifier, expression ID, and object ID. Users need to have local copies of the corresponding source RVOS benchmark data (e.g., Ref-DAVIS17, MeViS, ReVOS, or Ref-YouTube-VOS) to retrieve video frames and ground truth masks based on these references and derive answers from the benchmarks ground truth during evaluation. Thus, the dataset is essentially a set of motion questions based on ground truth segmentation annotations for evaluating how models understand and track specified objects in videos based on questions. The data schema includes a unique identifier (id), source dataset (dataset), split set (split), video key (video), expression ID (exp_id), list of object IDs (obj_ids), original referring expression (expression), the final generated motion question (question), the motion category of the question (question_type), and the question source (question_source, e.g., model self-selection, human-selected candidates, or human-written). Questions are generated through an automated pipeline that uses vision-language models to produce multiple candidate questions for each expression and self-selects the best, with some undergoing manual review. The question types integrate categories from multiple existing video motion question-answering benchmarks, covering various motion dimensions such as direction, rotation, trajectory, speed, action, order, and count. The dataset is primarily suitable for evaluating referring video object segmentation (RVOS) tasks driven by natural language questions, i.e., testing whether a model can accurately segment and track specified objects in videos given a question about object motion. Evaluation typically involves comparing the models predicted segmentation masks with the ground truth masks provided by the source benchmark (using Jaccard index J and boundary F-score). The dataset size is less than 1000 samples, licensed for research use, but users must separately obtain and comply with the licenses of the various source video datasets it references.

原始信息汇总

数据集名称

RVOS Motion Questions

数据集概况

这是一个面向视频运动理解的基准风格问题数据集，问题从参照视频对象分割（RVOS） 的指代表达式中自动合成。每一条数据将一个指代表达式（如*“向左移动的大象”）转化为一个运动问题，其答案是一个运动属性（如方向、计数、顺序、动作等），被指代的对象作为问题的主语（例如“最左边的大象朝哪个方向移动？”*，答案：向左）。数据集不直接提供视频像素、分割掩码或答案，而是通过引用的方式让用户从原始RVOS基准数据集中获取。

数据规模

• 总样本数：小于1,000条（n<1K）

任务与语言

• 任务类型：视觉问答、视频分类
• 语言：英语

数据集用途

• 提供问题 → 跟踪目标的映射，用于评估模型根据运动问题驱动RVOS跟踪的能力。
• 不存储直接答案，答案需在评估时通过基准数据集的真实标注获得（如对象的跟踪运动）。

数据模式（Schema）

每一条数据对应一个指代表达式，包含以下字段：

字段	类型	说明
id	string	唯一标识，格式为 "<数据集>/<视频>/<表达式ID>"
dataset	string	来源基准数据集，可选：ref_davis、mevis_v2、revos、ref_ytvos
split	string	来源数据集的划分（如 valid）
video	string	数据集内的视频键值
exp_id	string	来源标注ID，用于获取真实分割掩码
obj_ids	list[int]	表达式所指代的对象/调色板索引，对应真实分割掩码
expression	string	原始的RVOS指代表达式
question	string	最终生成的运动问题（若生成失败则为 null）
question_type	string	问题的运动类别（若未标注或生成失败则为 null）

使用方式

用户需要自行获取对应基准数据集的本地副本（如Ref-DAVIS17、MeViS、ReVOS、Ref-YouTube-VOS），然后通过 video、exp_id、obj_ids 定位视频帧和真实分割掩码。示例代码：

python from datasets import load_dataset ds = load_dataset("livctr/rvos-motion-questions", split="train") row = ds[0]

使用 row["dataset"], row["video"], row["exp_id"], row["obj_ids"] 获取本地帧和真实掩码

使用 row["question"] 作为模型输入，评估其跟踪/答案得分

评估方法

自然评估方法为：根据生成的问题驱动RVOS跟踪，让模型从问题主语中恢复要跟踪什么，然后使用预测掩码与基准真实标注计算 J & F 指标。可通过 motion-qa 仓库中的评估脚本执行，例如：

bash

评估生成的问题（基于基准真实标注）

python3 -m motion_qa.rvos.eval.runner --dataset ref_davis --split valid --root /path/to/Ref-DAVIS17 --out runs/eval_question --mode question_mode --questions questions.jsonl --trace

基线：使用原始指代表达式在相同视频上进行评估

python3 -m motion_qa.rvos.eval.runner --dataset ref_davis --split valid --root /path/to/Ref-DAVIS17 --out runs/eval_expr --mode benchmark_mode

数据来源（Provenance）

问题类型综合自四个视频运动问答基准：TOMATO（arXiv 2410.23266）、VLM4D（arXiv 2508.02095）、MotionBench（arXiv 2501.02955）和FAVOR-Bench（arXiv 2503.14935）。涵盖的运动类别包括：运动方向、旋转/自旋、轨迹形状、速度/加速度、动作/动词、动作顺序、重复/计数、相对运动、位置变化、出现/消失、运动状态变化。指代表达式和真实标注来源于上述RVOS基准数据集。

许可证

• 生成的问题部分采用 source-benchmark-licenses 许可证（详见 链接）。
• 底层视频、指代表达式和真实分割掩码受其各自来源基准数据集的许可证约束，用户需自行获取并遵守相应条款。

搜集汇总

数据集介绍

构建方式

本数据集以视频目标分割中的指代表达式为原料，借助motion-qa框架，通过视觉语言模型为每条指代表达式生成多个候选运动问题，并从中自选出最优问题。最终每个样本包含原始表达式、生成的问题及其类型标签，同时保留指向源数据集（如Ref-DAVIS17、MeViS、ReVOS、Ref-YouTube-VOS）的视频片段和分割标注的引用信息，确保问题与真实分割标注的语义对齐，而非存储预置答案。

特点

该数据集的核心特色在于其作为“问题→追踪目标”的语义桥梁，每个问题均指代真实视频分割基准中的运动属性（如方向、计数、顺序、动作等），而答案需从源基准的标注中推理获取。数据集本身仅存储问题的文本及其元数据，不包含视频像素和真值掩码，因此规模精炼且规避了版权风险。问题类型覆盖方向、旋转、轨迹、速度、动作顺序、重复计数、相对运动等多样化运动语义，为视频理解与追踪模型的评估提供了细粒度的运动推理测试集。

使用方法

使用时需先获取源基准数据集的本地副本，通过样本中的数据集名、视频标识、表达式编号和目标物体索引定位对应的帧与分割掩码。将生成的问题作为模型输入，使其解析问题主体并执行目标分割追踪，最终以源基准的真值掩码计算Jaccard指数与边界F值作为评估指标。motion-qa仓库提供了直接评估脚本，支持以问题驱动模式运行追踪器，并与原始指代表达式驱动的结果进行对比，从而量化问题表述对追踪可恢复性的影响。

背景与挑战

背景概述

在视频理解领域，运动感知与目标跟踪是核心研究课题之一，而指代视频目标分割（Referring Video Object Segmentation, RVOS）作为连接自然语言描述与视频中动态目标的关键技术，近年来备受关注。在此背景下，由David Herrero等人创建并发布于2025年的RVOS Motion Questions数据集，旨在将RVOS中的指代表达转化为结构化运动问答对，如方向、计数、排序等，从而推动视频运动属性推理的研究。该数据集整合了Ref-DAVIS17、MeViS、ReVOS、Ref-YouTube-VOS等主流RVOS基准，并借助TOMATO、VLM4D、MotionBench、FAVOR-Bench等运动问答基准构建问题分类体系，通过视觉语言模型（VLM）生成候选问题并自选最优，显著降低了人工标注成本。作为首个将RVOS表达与运动问答深度融合的基准，它为评估模型在精细化运动推理与目标跟踪联合任务上的能力提供了标准化测试平台，对视频语言多模态研究具有重要推动作用。

当前挑战

该数据集面临的挑战体现在领域问题与构建过程两个层面。领域层面，视频中运动属性的多样性（如相对运动、轨迹形态、速度变化）导致问题生成需高度精确，而现有RVOS模型多聚焦于静态指代分割，难以直接推理复杂运动语义；同时，数据格式设计将答案留置于源基准的时序标注中，要求评估时同步调用视频帧与目标掩码，增加了评估流程的耦合性与复现难度。构建层面，依赖VLM生成问题虽提升效率，但自选机制可能引入噪声或偏差，人类审查环节虽能校正，却受限于小规模样本（<1K）的扩展性；此外，不同源基准的标注规范与运动属性粒度差异显著，跨数据集统一问答模板时需手工对齐，进一步加剧了数据整合的复杂度。

常用场景

经典使用场景

该数据集在视频理解与视觉-语言交叉领域扮演着独特的桥梁角色，其核心设计思想是将复杂的运动语义转化为结构化的问答形式。研究者可以借助该数据集，将原始的指代视频目标分割（RVOS）任务中的自然语言表达——如“向左移动的大象”——自动转化为关于运动属性的明确问题，并利用基准数据集的真实标注来验证模型对运动信息的理解能力。这种转化使得模型能够从被动执行分割指令转向主动推理运动属性，为评估视频理解模型在细粒度运动感知方面的泛化能力提供了标准化测试平台。

解决学术问题

该数据集精准回应了视频问答领域长期存在的运动推理缺乏细粒度基准的困境。传统视频问答任务多聚焦于场景级语义或简单动作识别，难以对方向、顺序、计数等具体运动属性进行量化评估。通过将运动属性问题与指代分割的像素级标注严格对齐，该数据集使得研究者能够将运动问题视为一种更精细的推理任务，从而考察模型是否真正理解目标在时空层面的运动动态，而非仅依赖于视觉外观。它的出现填补了运动属性推理与目标跟踪之间的方法论空白，推动了视频理解从粗粒度语义向细粒度运动表征的学术演进。

衍生相关工作

该数据集催生了一系列以运动语义对齐为核心的研究工作。其依托的motion-qa框架已发展为统一的运动问题生成与评估平台，支撑了TOMATO、VLM4D、MotionBench和FAVOR-Bench等多个运动QA基准的构建。后续工作围绕运动属性的可迁移性展开，探索如何将问题驱动的追踪范式扩展到未见过的运动类别，并融合大语言模型来增强问题生成的多样性和上下文适应性。此外，基于该数据集的结构化问题模式，学界涌现出将运动问题作为中间表征进行跨任务迁移学习的尝试，例如将视频问答与指代分割的结果联合优化，从而在提升运动推理精度的同时，增强模型对时空因果关系的建模能力。