Morpheus

Morpheus数据集由荷兰阿姆斯特丹大学创建，包含80个捕捉物理现象的真实世界视频，这些视频依据守恒定律进行指导。数据集通过先进的物理信息神经网络和视觉语言基础模型，对物理守恒定律的遵循情况进行评估。该数据集旨在为视频生成模型提供一个公平和系统的物理推理基准测试。

The Morpheus dataset was created by the University of Amsterdam in the Netherlands. It comprises 80 real-world videos capturing physical phenomena guided by conservation laws. This dataset uses advanced physics-informed neural networks and vision-language foundation models to evaluate compliance with physical conservation laws, aiming to provide a fair and systematic benchmark for physical reasoning in video generation models.

搜集汇总

数据集介绍

构建方式

Morpheus数据集的构建基于真实物理实验的视频记录，涵盖六种核心物理现象，包括自由落体、弹跳球、抛体运动、完整与非完整摆以及双摆实验。通过精密控制的实验室环境，系统性地调整初始参数（如释放高度、发射角度等），确保实验的可重复性。每个实验配置录制5-7段视频，共收集80段高质量视频数据。采用机器人控制器精确设定初始条件，并通过零样本对象分割（SAM2）和深度估计（DepthAnything V2）技术提取物体运动轨迹，形成标准化的物理测量数据。

特点

该数据集独特之处在于其严格的物理定律约束与多维度评估体系。所有视频均遵循牛顿力学守恒定律，提供能量、动量等物理不变量作为基准真值。创新性地引入物理信息神经网络（PINN）和动力学评分系统，可量化分析生成视频与真实物理轨迹的偏差。数据集包含分层评估指标（丢弃率、动力学评分、物理不变量评分），支持从粗粒度到细粒度的物理合理性分析。与现有基准相比，Morpheus首次实现真实实验视频与生成视频在统一物理表征空间的系统性对比。

使用方法

使用Morpheus需经过三阶段流程：首先以真实实验的初始帧作为条件输入视频生成模型，产生候选视频；随后通过轨迹提取管道获取物体运动轨迹的2D坐标、速度等物理量；最后应用物理信息指标进行评估。评估时需注意：1）自动过滤存在物体消失、复制或静止的无效视频；2）采用滑动时间窗口分析物理不变量守恒性；3）结合动力学评分（基于PINN的ODE拟合误差）与不变量评分（能量/动量守恒标准差）进行综合判断。数据集支持文本提示、单帧条件和视频条件三种生成方式对比，建议优先采用多帧条件以提升物理合理性。

背景与挑战

背景概述

Morpheus是由Chenyu Zhang等人于2025年提出的视频生成模型物理推理评估基准，旨在解决生成视频是否符合物理守恒定律这一核心问题。该数据集由阿姆斯特丹大学和特伦托大学联合开发，包含80个真实物理实验视频，涵盖牛顿力学中的六类经典现象（如自由落体、单摆运动等）。作为首个基于真实物理实验的视频生成评估框架，Morpheus通过物理信息神经网络（PINN）和视觉语言基础模型构建的量化指标，揭示了当前生成模型在物理合理性方面的重大缺陷，为计算机视觉与计算物理的交叉研究设立了新标准。

当前挑战

Morpheus面临双重挑战：在领域问题层面，需解决生成视频中物体运动轨迹违反能量守恒、动量守恒等基本物理定律的问题，当前模型生成的视频虽视觉逼真但物理合理性评分不足真实视频的50%；在构建过程中，需克服生成视频缺乏真实物理轨迹标注的难题，研究团队创新性地通过零样本物体分割、基于中心差分法的运动参数估计以及物理约束损失函数设计，实现了无监督的物理合理性评估。实验显示即使采用多帧提示等增强技术，主流视频生成模型在动力学评分与物理不变性评分上仍存在30%-70%的性能差距。

常用场景

经典使用场景

Morpheus数据集专为评估视频生成模型在物理推理能力方面的表现而设计，其经典使用场景包括对生成视频中物体运动轨迹的物理合理性进行量化分析。通过记录真实物理实验视频（如自由落体、单摆运动等），该数据集为生成模型提供了严格的物理基准测试环境。研究者在模型生成视频后，可利用Morpheus的轨迹提取框架和物理守恒指标，系统评估模型是否遵守能量守恒、动量守恒等基本物理定律。

衍生相关工作

Morpheus的提出催生了多个相关研究方向：基于其轨迹提取框架开发的VideoPhy评估系统实现了更细粒度的物理违规检测；受其物理不变性分数启发，PhysBench将类似方法扩展到了视觉语言模型评估；其多帧提示方法被Cosmos等后续工作发展为视频生成的物理条件控制技术。这些衍生工作共同推动了生成模型从视觉建模向物理建模的范式转变。

数据集最近研究

最新研究方向

近年来，Morpheus数据集在视频生成模型的物理推理能力评估领域引起了广泛关注。该数据集通过精心设计的真实物理实验视频，为生成模型的物理合理性提供了系统化评估框架。研究热点集中在利用物理信息神经网络（PINN）和视觉语言基础模型开发新型评估指标，以量化生成视频对能量守恒、动量守恒等基本物理定律的遵循程度。前沿工作揭示了当前先进视频生成模型在视觉保真度与物理合理性之间的显著差距，为物理增强生成模型的发展提供了重要方向。这一研究对自动驾驶仿真、机器人环境建模等需要高物理真实性的应用场景具有深远意义。

相关研究论文

• Morpheus: Benchmarking Physical Reasoning of Video Generative Models with Real Physical Experiments

  荷兰阿姆斯特丹大学 · 2025年