video object interaction (VOI) dataset

VOI数据集由西北工业大学等机构创建，包含72个视频，涵盖碰撞连锁反应、重力和力量、杠杆和镜子三种典型的物体交互类型。数据集提供了可用于准确性能评估的物体运动轨迹地面真实数据，以及用于表示预测轨迹与地面真实轨迹相似性的MOC指标。

The VOI Dataset was created by Northwestern Polytechnical University and other institutions. It contains 72 videos covering three typical types of object interactions: collision chain reactions, gravity and force, levers and mirrors. The dataset provides ground truth data of object motion trajectories for accurate performance evaluation, as well as the MOC metric used to quantify the similarity between predicted trajectories and ground truth trajectories.

搜集汇总

数据集介绍

构建方式

视频对象交互（VOI）数据集的构建采用了基于人类认知模式的链式思维驱动运动控制器C-Drag，该控制器首先进行对象感知，然后根据对象给定的运动控制来推理不同对象之间的动态交互。具体来说，该数据集的构建过程包括对象感知模块和基于链式思维的动态交互推理模块。对象感知模块利用视觉语言模型来捕获图像中各种对象的位置和类别信息。基于链式思维的动态交互推理模块以这些信息作为输入，并通过分阶段推理过程生成受影响对象的运动轨迹，然后将这些轨迹输入到扩散模型中进行视频合成。

使用方法

使用视频对象交互（VOI）数据集进行运动控制视频生成方法的评估时，首先需要利用对象感知模块从输入图像中提取所有相关对象的位置、掩码和类别信息。然后，基于这些对象信息，利用基于链式思维的动态交互推理模块预测对象的运动轨迹。最后，将生成的对象轨迹输入到预训练的运动轨迹生成模型中，以生成包含多个对象交互的高质量视频。

背景与挑战

背景概述

视频对象交互（Video Object Interaction, VOI）数据集的创建旨在解决基于轨迹的运动控制视频生成问题。该数据集由西北工业大学、穆罕默德·本·扎耶德人工智能大学、9090.ai、林雪平大学和澳大利亚国立大学的研究人员于2025年2月提出。主要研究人员包括李宇豪、米拉娜·克莱尔·安吉尔、萨尔曼·汗、于朱、孙金秋、张炎宁、法哈德·沙巴兹·汗等。该数据集的核心研究问题是如何准确控制视频中的对象运动，并生成具有动态交互的多对象视频。VOI数据集的提出为可控制视频生成领域提供了新的研究基准，对推动该领域的技术发展具有重要意义。

当前挑战

VOI数据集相关的挑战主要包括：1)解决多对象交互场景下的运动控制问题；2)构建过程中遇到的挑战。多对象交互场景下的运动控制问题要求模型能够准确理解场景中各个对象之间的关系，并预测它们之间的相互作用，从而生成具有逻辑一致性和视觉真实感的视频。构建过程中遇到的挑战包括如何有效地提取场景中的对象信息，如何设计合理的推理模块来预测对象的运动轨迹，以及如何评估生成的视频质量等。为了应对这些挑战，研究人员提出了C-Drag方法，该方法利用视觉语言模型和思维链推理技术，有效地解决了多对象交互场景下的运动控制问题。

常用场景

经典使用场景

在视频生成领域，VOI数据集被广泛应用于评估基于轨迹的视频生成方法。该数据集包含了三种典型的物体交互类型，即碰撞与连锁反应、重力和力、杠杆和镜子。通过提供物体运动的真实轨迹，VOI数据集允许研究人员评估生成视频中的物体运动是否与真实世界中的物理规律相符。此外，VOI数据集还可以用于训练和验证基于轨迹的视频生成模型，使其能够生成更加真实和一致的视频内容。

解决学术问题

VOI数据集解决了基于轨迹的视频生成中一个关键问题，即如何准确模拟物体之间的动态交互。现有的基于轨迹的方法通常只能生成控制物体的运动轨迹，而忽略了控制物体与其周围环境之间的动态交互。VOI数据集通过提供包含多种交互类型的视频序列，以及相应的物体运动轨迹，为评估和改进基于轨迹的视频生成方法提供了重要数据基础。此外，VOI数据集还可以帮助研究人员理解和分析不同类型物体交互的规律和特点，为视频生成模型的进一步发展提供理论支持。

实际应用

VOI数据集在实际应用中具有重要的价值。例如，在电影和游戏制作中，基于轨迹的视频生成技术可以用于创建逼真的场景和角色动画。通过使用VOI数据集进行训练和评估，可以显著提高生成视频的质量和真实感，从而为观众带来更加沉浸式的观影体验。此外，基于轨迹的视频生成技术还可以应用于虚拟现实和增强现实等领域，为用户创造更加逼真的虚拟环境。因此，VOI数据集对于推动基于轨迹的视频生成技术的实际应用具有重要意义。

数据集最近研究

最新研究方向

随着计算机视觉和视频生成技术的不断发展，可控视频生成成为了研究的热点。传统的基于文本或图像的条件视频生成方法难以精确控制对象的运动轨迹，而基于轨迹的方法虽然能够控制对象运动，但在处理复杂场景中的多对象交互时存在挑战。为了解决这一问题，研究人员提出了C-Drag，一种基于思维链的运动控制器，用于可控视频生成。C-Drag通过对象感知模块和基于思维链的运动推理模块，能够精确预测和生成受控对象和周围对象的运动轨迹，从而实现高质量的动态视频生成。此外，为了评估轨迹控制视频生成方法的性能，研究人员还构建了一个新的视频对象交互（VOI）数据集，包含碰撞和链式反应、重力和力、杠杆和镜子三种典型交互类型。实验结果表明，C-Drag在多个指标上取得了优异的性能，特别是在对象运动控制方面。C-Drag及其相关数据集为可控视频生成领域的研究提供了新的思路和工具。

相关研究论文

• C-Drag: Chain-of-Thought Driven Motion Controller for Video Generation

  西北工业大学, Mohamed bin Zayed University of Artificial Intelligence, 90909.ai, Linköping University, 澳大利亚国立大学 · 2025年