PhysGaia

PhysGaia是一个新型的物理感知数据集，专为动态新视角合成（DyNVS）设计，包含结构化物体和非结构化物理现象。与现有主要关注照片真实感重建的数据集不同，PhysGaia旨在积极支持物理感知动态场景建模。该数据集提供了复杂的动态场景，其中多个物体之间存在丰富的相互作用，它们之间能够真实地碰撞并交换力量。此外，它还包含多种物理材料，如液体、气体、粘弹性物质和纺织品，超越了现有数据集中普遍存在的刚体。PhysGaia中的所有场景都严格按照物理定律真实生成，利用精心选择的特定材料物理求解器。为了能够对物理建模进行定量评估，我们的数据集提供了包括3D粒子轨迹和物理参数（如粘度）在内的基本真实信息。为了促进研究的采用，我们还提供了使用最先进的DyNVS模型与我们的数据集的必要集成管道，并报告了它们的结果。通过解决物理感知建模数据集的严重缺乏，PhysGaia将显著推动动态视图合成、基于物理的场景理解和与物理模拟集成的深度学习模型的研究。

PhysGaia is a novel physics-aware dataset designed for Dynamic Novel View Synthesis (DyNVS), encompassing both structured objects and unstructured physical phenomena. In contrast to existing datasets that primarily focus on photorealistic reconstruction, PhysGaia is intentionally developed to actively support physics-aware dynamic scene modeling. This dataset features complex dynamic scenes with rich interactions among multiple objects, where realistic collisions and force exchanges occur between entities. Furthermore, it incorporates a wide spectrum of physical materials including liquids, gases, viscoelastic materials and textiles, going beyond the rigid bodies that dominate most existing datasets. All scenes in PhysGaia are rigorously generated in accordance with physical laws, leveraging carefully selected material-specific physics solvers. To enable quantitative evaluation of physics modeling, our dataset provides ground-truth information including 3D particle trajectories and physical parameters such as viscosity. To facilitate research adoption, we also provide the necessary integration pipelines for deploying state-of-the-art DyNVS models with our dataset, and report their benchmark results. By addressing the critical shortage of physics-aware modeling datasets, PhysGaia will significantly advance research in dynamic view synthesis, physics-based scene understanding, and deep learning models integrated with physical simulation.

搜集汇总

数据集介绍

构建方式

PhysGaia数据集通过精心挑选的材料特定物理求解器（如液体的FLIP求解器、气体的Pyro求解器、粘弹性物质的MPM求解器和纺织品的Vellum求解器）生成，确保所有场景严格遵循物理定律。数据集包含17个动态场景，涵盖液体、气体、粘弹性物质和纺织品等多种材料，通过SideFX Houdini 20.5的统一计算图实现多体交互的模拟。每个场景的渲染分辨率为640×720，采用路径追踪和NVIDIA OptiX去噪技术，确保高质量的视觉效果。

特点

PhysGaia数据集的核心特点在于其物理感知的动态场景建模能力，特别是多体间的复杂交互和多样化材料的动态行为。数据集提供了丰富的真实物理信息，包括3D粒子轨迹和物理参数（如粘度、杨氏模量等），支持对动态场景中物理行为的定量评估。此外，数据集支持多视角和单视角动态新视角合成（DyNVS）任务，并提供了完整的模拟节点图和参数设置，便于用户生成自定义场景和额外模态数据（如深度图、表面法线等）。

使用方法

PhysGaia数据集的使用方法包括多视角和单视角DyNVS任务的训练与评估。用户可通过提供的模拟节点图和参数设置，生成自定义场景或额外模态数据。数据集还集成了先进的DyNVS模型（如D-3DGS、4DGS等）的管道，便于直接应用于研究。评估时，可采用静态相机的大基线配置，利用标准图像质量指标（如PSNR、SSIM、LPIPS）进行定量分析。此外，数据集提供的真实物理信息可用于逆向物理估计方法的研究和验证。

背景与挑战

背景概述

PhysGaia是由首尔国立大学的研究团队于2025年提出的一个专注于物理感知动态新视角合成（DyNVS）的数据集。该数据集旨在解决现有数据集在物理真实感建模方面的不足，特别关注多物体间的复杂相互作用以及多种物理材料（如液体、气体、粘弹性物质和纺织品）的动态行为。PhysGaia通过严格遵循物理定律生成场景，并提供了包括3D粒子轨迹和物理参数在内的丰富真实数据，为动态场景理解和物理模拟的深度学习模型研究提供了重要支持。

当前挑战

PhysGaia数据集面临的挑战主要包括两个方面：领域问题的挑战和构建过程中的挑战。在领域问题方面，PhysGaia旨在解决动态新视角合成中物理真实感建模的难题，特别是在多物体相互作用和多种物理材料动态行为建模方面的复杂性。构建过程中的挑战包括如何精确模拟不同材料的物理行为（如液体的飞溅、气体的浮力效应等），以及如何确保生成的数据严格遵循物理定律。此外，数据集还需要提供丰富的真实数据（如3D粒子轨迹和物理参数）以支持定量评估，这对数据生成和标注提出了较高要求。

常用场景

经典使用场景

PhysGaia数据集在动态新视角合成（DyNVS）领域具有广泛的应用价值，尤其在处理多物体交互和复杂物理现象的场景中表现突出。其经典使用场景包括通过多视角或单目视频重建动态场景，并生成符合物理规律的新视角图像。该数据集特别适用于需要物理真实感的研究，如流体动力学、弹性体变形和布料模拟等场景。

实际应用

在实际应用中，PhysGaia数据集可广泛应用于增强现实（AR）、虚拟现实（VR）和计算机视觉领域。例如，在AR/VR中，该数据集可用于生成逼真的动态场景，提升用户体验；在机器人仿真中，可用于训练和测试物理感知算法；在影视特效中，可用于模拟复杂的物理现象，如流体流动和布料动态。

衍生相关工作

PhysGaia数据集衍生了一系列经典研究工作，特别是在物理感知的动态场景建模领域。例如，PhysGaussian将高斯溅射与物理模拟结合，处理粘弹性材料的动态重建；Spring-Gaus专注于弹簧-质量模型的高斯溅射，用于弹性物体重建；PAC-NeRF利用神经辐射场进行物理参数估计。这些工作均受益于PhysGaia提供的精确物理信息和多物体交互场景。