PhysInOneP03/PhysInOneP03

PhysInOne数据集包含153,810个动态3D场景和200万个标注视频，涵盖71个基础物理现象，涉及力学、光学、流体动力学和磁学四个日常物理领域。每个场景可能包含复杂3D环境中的多对象和多物理交互，并提供丰富的标注，包括RGB视频、深度图、对象掩码、3D轨迹、相机姿态、对象网格、材料属性和文本描述。PhysInOne contains 153,810 dynamic 3D scenes and 2 million annotated videos, covering 71 basic physical phenomena across four domains of everyday physics: mechanics, optics, fluid dynamics, and magnetism. Each scene may contain multi-object and multi-physics interactions in complex 3D environments. The dataset provides rich annotations including RGB videos, depth maps, object masks, 3D trajectories, camera poses, object meshes, material properties, and textual descriptions.

搜集汇总

数据集介绍

构建方式

PhysInOneP03 是 PhysInOne 数据集的第三个分片，PhysInOne 是一个面向视觉物理学习与推理的大型合成数据集。该数据集通过结合 Unreal Engine 等物理引擎与 MPM、SPH 等数值模拟方法，精心构建了 153,810 个动态三维场景，涵盖力学、光学、流体动力学和磁学四大领域的 71 种基本物理现象。每个场景均包含多物体与多物理交互，并生成了超过 200 万个带标注视频。标注信息极为丰富，包括 RGB 视频、深度图、物体掩码、三维轨迹、相机位姿、物体网格、材质属性及文本描述。整个数据集被拆分为 12 个分片仓库发布于 HuggingFace，以方便大规模下载与使用。

特点

该数据集的核心特点在于其规模宏大且物理现象覆盖面广，为视觉物理推理提供了前所未有的数据基础。其场景不仅具有高视觉保真度，还精确模拟了真实世界的物理规律，使得数据集能够有效支持多种下游任务，如文本到视频生成、深度估计、图像分割、未来帧预测、物理属性估计及运动迁移等。此外，数据集采用分片存储策略，每个分片包含完整的数据子集，便于分布式处理与渐进式加载。所有三维资产均来源于公开平台并经许可验证，确保用于非商业目的的合法性。

使用方法

使用该数据集时，推荐通过官方主仓库提供的下载脚本进行获取。脚本支持按数据集划分（如训练/测试集）、活动复杂度、物理现象类别及案例数量等条件进行过滤，以灵活适配不同研究需求。用户亦可直接通过 HuggingFace 仓库访问本分片，但仅建议用于小规模文件检查。数据集支持包括文本到视频、图像到视频、视频到视频在内的多种模态转换任务，以及深度估计、语义分割、物体检测等视觉任务。研究者可参考主仓库提供的详细文档和代码基座，快速集成数据加载与预处理流程。

背景与挑战

背景概述

PhysInOneP03作为PhysInOne数据集的一个分片，由来自香港理工大学vLAR Group、新加坡Syal及Meta的研究人员于2025年（对应CVPR 2026投稿）构建。该数据集旨在弥补视觉物理学习与推理领域缺乏统一、大规模多模态基准的空白。核心研究问题在于如何让机器从视觉数据中理解并推理复杂的物理规律，涵盖力学、光学、流体动力学和磁学四大领域71种基本物理现象。通过提供153,810个动态3D场景和200万段带注释的视频，PhysInOne为视频生成、物理属性估计、运动迁移等任务提供了前所未有的训练资源，其影响力跨越计算机视觉、机器人学与具身智能，有望推动世界模型与物理推理的发展。

当前挑战

PhysInOne面临的领域挑战在于现有数据集多聚焦单一物理现象或简单场景，难以支撑从视觉输入到物理规律理解的全链路学习，制约了模型在真实复杂世界中的泛化能力。构建过程中，团队需克服多物理域联合仿真与渲染的工程难题，包括整合Unreal Engine、MPM与SPH等异构模拟器，并确保153,810个复杂3D场景中多物体与多物理交互的物理一致性。此外，大规模多模态注释（如RGB、深度、分割、轨迹与文本描述）的精确生成与验证，以及从公共平台获取的3D资产在非商业许可下的合规性检查，亦构成了显著的数据管理挑战。

常用场景

经典使用场景

PhysInOneP03作为PhysInOne数据集的一个分片，其核心使命在于为视觉物理学习与推理领域提供大规模、多模态的基准资源。该数据集汇聚了涵盖力学、光学、流体动力学和磁学四大经典物理领域的71种基本现象，通过15万余个动态3D场景与200万段标注视频，为研究者搭建了一座连接物理世界与计算机视觉的桥梁。其经典用法集中在训练和评估具备物理感知能力的视觉模型，特别是在视频生成、未来帧预测、物理属性估计等任务中，利用丰富的RGB、深度、分割掩码、3D轨迹等多模态标注，促使模型学习物体间复杂的相互作用与因果规律。

实际应用

在现实应用层面，PhysInOneP03所承载的物理推理能力正逐步渗透至多个前沿领域。在具身智能与机器人领域，该数据集可被用于训练机器人在不同物理环境下进行物体操作、运动规划与稳定性判断，使其在抓取、堆叠等任务中展现出符合物理规律的智能行为。在自动驾驶与虚拟仿真中，得益于对复杂物理现象的高保真模拟，PhysInOneP03可用于提升动态环境感知与预测算法的鲁棒性。此外，该数据集在影视制作、游戏开发中为自动化物理动画生成与交互式内容创建提供了高质量的数据基础，助力虚拟世界呈现更逼真的物理效果。

衍生相关工作

PhysInOneP03的发布催生了一系列富有开创性的学术工作。围绕该数据集，研究者们开发了专门用于物理属性估计的深度网络，能够在复杂多物体交互场景中精确推断物体的质量、摩擦力与弹性系数。在视频预测领域，基于该数据集的未来帧预测模型显著提升了长时序动态演化的预测精度。此外，物理因果推理模型的构建也成为热点，相关方法利用数据集中的多视角轨迹与分割信息，学习物体碰撞、流体流动背后的因果关系。这些衍生工作共同推动了视觉物理学习从数据驱动迈向知识驱动的新范式，为构建具有物理常识的通用智能体奠定了坚实基础。