myriad-physics

MYRIAD-Physics 是一个扩展了 Physics-IQ 和 Physion 的数据集，增加了运动注释和物体轨迹，用于评估物理交互下的概率未来轨迹预测。该数据集在论文《Envisioning the Future, One Step at a Time》中提出。数据集包含手动标注的相关物体和观察到的运动类型，并使用现成的跟踪器获取运动轨迹，同时进行了人工验证以确保正确性。需要注意的是，该存储库仅提供额外的元数据（注释和轨迹），视频需通过提供的下载脚本单独获取。数据集适用于概率未来轨迹预测任务，特别是在物理交互场景下的评估。

原始信息汇总

MYRIAD-Physics 数据集概述

基本信息

• 数据集名称: MYRIAD-Physics
• 托管平台: Hugging Face
• 语言: 英语 (en)
• 许可证: CC BY-NC-SA 4.0 (cc-by-nc-sa-4.0)
• 数据规模: 小于1K (n<1K)
• 任务类别: 其他 (other)

数据集简介

MYRIAD-Physics 是对 Physics-IQ 和 Physion 数据集的扩展。它提供了运动标注和物体轨迹数据，专门用于评估物理交互下的概率性未来轨迹预测。

核心内容与特点

• 扩展内容: 在 Physics-IQ 和 Physion 的基础上，增加了运动标注和物体轨迹。
• 标注方法: 采用与 CompVis/owm-95 数据集相同的方法进行轨迹标注。
• 数据构成: 本仓库仅提供额外的元数据（标注和轨迹）。原始视频文件需通过单独的下载脚本获取。
• 标注流程: 对相关物体和观察到的运动类型进行手动标注，并使用现成的跟踪器获取运动轨迹，同时进行人工正确性验证。

相关资源

• 项目主页: https://compvis.github.io/myriad
• GitHub 代码仓库: https://github.com/CompVis/flow-poke-transformer
• 相关论文: https://arxiv.org/abs/2604.09527
• 相关数据集 (OWM-95): https://huggingface.co/datasets/CompVis/owm-95
• 模型权重: https://huggingface.co/CompVis/myriad

使用说明

• 数据下载: 原始视频需通过 GitHub 仓库中提供的下载脚本获取 (https://github.com/CompVis/flow-poke-transformer/blob/main/scripts/myriad_eval/download_datasets.sh)。
• 基准评估: 可使用提供的脚本命令在 Physics-IQ、Physion 或 OWM 数据集上运行 MYRIAD 评估。

引用信息

如果使用本数据集或相关代码，请引用以下论文： bibtex @inproceedings{baumann2026envisioning, title={Envisioning the Future, One Step at a Time}, author={Baumann, Stefan Andreas and Wiese, Jannik and Martorella, Tommaso and Kalayeh, Mahdi M. and Ommer, Bjorn}, booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)}, year={2026} }

搜集汇总

数据集介绍

构建方式

在物理交互预测研究领域，MYRIAD-Physics数据集通过扩展Physics-IQ与Physion数据集构建而成。其核心在于为原始视频序列增添了精细的运动标注与物体轨迹数据，这些轨迹数据遵循了CompVis/owm-95数据集所提出的统一方法。构建过程结合了人工标注与自动化技术：研究人员手动识别并标注了视频中的关键物体及其运动类型，随后采用成熟的现成跟踪器自动生成物体的运动轨迹，并对所有轨迹结果进行了人工核验以确保其准确性。

特点

该数据集的核心特点在于其专注于物理交互场景下的概率性未来轨迹预测评估。相较于仅提供视频的原始数据集，MYRIAD-Physics提供了丰富的元数据层，包括物体运动类型的手动标注和经过验证的物体运动轨迹。这一设计使其能够精准评估模型对物体在复杂物理约束下未来运动的多模态预测能力。数据集与CompVis/owm-95形成互补，后者直接分发视频与标注，而本数据集则专门提供需配合原始视频使用的增强型标注信息。

使用方法

使用该数据集需首先通过项目提供的专用下载脚本获取原始视频数据，随后将本数据集提供的元数据标注与对应视频结合。评估流程集成于项目代码库中，用户可通过指定数据根目录、模型检查点路径及具体数据集名称（如owm、physion或physics-iq）来运行开放集预测基准测试。这一设计便于研究者将MYRIAD-Physics作为标准化的评估平台，系统性地检验其轨迹预测模型在物理合理性、多模态输出等方面的性能。

背景与挑战

背景概述

在计算机视觉与人工智能领域，物理推理与未来轨迹预测是评估模型理解动态场景能力的关键任务。MYRIAD-Physics数据集由CompVis研究团队于2026年提出，作为对Physics-IQ和Physion数据集的扩展，旨在为物理交互下的概率性未来轨迹预测提供更丰富的评估基准。该数据集通过引入手动标注的运动类型与物体轨迹，深化了对模型物理常识与时空推理能力的考察，推动了视觉预测模型在复杂物理环境中的应用研究。

当前挑战

该数据集致力于解决物理交互场景中未来轨迹预测的挑战，其核心在于模型需准确推断物体在多种物理作用下的运动路径，并处理不确定性带来的概率分布问题。构建过程中，研究人员面临标注一致性与轨迹准确性的双重考验，需结合手动标注与自动化跟踪技术，并经过人工验证以确保数据质量。此外，数据集依赖外部视频源，增加了数据整合与处理的复杂性。

常用场景

经典使用场景

在计算机视觉与物理推理交叉领域，MYRIAD-Physics数据集为评估模型在复杂物理交互下的概率性未来轨迹预测能力提供了标准化的测试平台。该数据集通过扩展Physics-IQ和Physion，引入了精细的运动标注与物体轨迹信息，使得研究人员能够系统地分析动态场景中物体的运动行为。其经典应用场景集中于训练和验证生成模型或预测模型，以模拟物体在受到外力作用后的运动路径，从而推动物理常识理解在人工智能中的发展。

衍生相关工作

围绕MYRIAD-Physics数据集，已衍生出多项经典研究工作，特别是在概率轨迹预测与物理推理模型领域。例如，相关研究如OWM-95基准测试扩展了视频与标注的联合分析，而基于该数据集的评估框架则催生了更先进的生成模型与预测架构。这些工作不仅深化了对物理交互建模的理解，还推动了如流变换器（flow-poke-transformer）等新型神经网络方法的发展，为计算机视觉中的动态场景分析设立了新的研究方向。

数据集最近研究

最新研究方向

在计算机视觉与物理推理交叉领域，MYRIAD-Physics数据集正推动着概率性未来轨迹预测的前沿探索。该数据集通过扩展Physics-IQ和Physion，引入了精细的运动标注与物体轨迹数据，为模型在复杂物理交互场景下的长时预测能力评估提供了坚实基础。当前研究热点集中于利用该数据集训练端到端的生成模型，以模拟物体在碰撞、滚动等动态过程中的不确定性演化，这直接关联到自动驾驶、机器人操作等实际应用中对安全性与可靠性的迫切需求。其标注框架借鉴了OWM-95的成熟方法，并经过人工验证，确保了数据的高质量与一致性，为学术界建立标准化评测基准贡献了关键资源。