GSCollision

GSCollision数据集包含多个对象的Gaussian splats（PLY文件）、背景Gaussian splats、场景组合配置文件、静态Gaussian splats、初始场景的多视角图像（MP4文件）、模拟结果（H5文件）以及渲染的视频（MP4文件）。数据集的组织结构清晰，便于使用和研究。

The GSCollision dataset contains Gaussian splats (PLY files) of multiple objects, background Gaussian splats, scene combination configuration files, static Gaussian splats, multi-view images of the initial scene (MP4 files), simulation results (H5 files), and rendered videos (MP4 files). The dataset has a well-organized structure, facilitating its usage and research.

原始信息汇总

数据集概述

数据集名称

GSCollision

数据集结构

数据集根目录为 GSCollision/，包含以下子目录和文件：

• objects/

  • 存储单个物体的高斯点云（PLY文件）。
  • 示例：panda/、can/、ball/。

• backgrounds/

  • 存储背景的高斯点云（PLY文件）。
  • 示例：table0/、table1/。

• scene_configs/

  • 存储场景组合的配置文件（JSON文件）。
  • 示例：3_0.json、4.json、6.json。

• scenes/

  • 存储组合后的多物体静态高斯点云。
  • 子目录结构示例：3_0/0_panda_ball_can/（内含PLY文件）。

• initial/

  • 存储带背景的初始场景多视角图像（MP4文件）。
  • 子目录结构示例：3_0/0_panda_ball_can/（内含MP4文件）。

• mpm/

  • 存储模拟结果（无背景的动态高斯点云，H5文件）。
  • 子目录结构示例：3_0/0_panda_ball_can/（内含H5文件）。

• dynamic/

  • 存储渲染后的视频（包含不同背景和视角的MP4文件）。
  • 子目录结构示例：3_0/0_panda_ball_can/（内含MP4文件）。

• README.md

  • 数据集结构、使用方法和元数据的文档。

数据生成流程

1. 场景配置：在 scene_configs/ 中配置JSON文件以设置初始物体姿态，或通过运行 python -m dataset.generate_configs --obj_num 2 --scene_num 5 自动生成配置文件。
2. 场景生成：运行 python -m dataset.generate_scene --input {json_file} --output {output_dir} 生成高斯点云。
3. 物理模拟：运行 python -m dataset.gs_simulation_scene 使用MPM模拟动力学，生成动态高斯点云（.h5文件）。
4. 渲染：运行 python -m dataset.render 渲染初始场景的多视角图像和动态输出视频。

相关模型与依赖

数据生成与处理依赖以下预训练模型：

• SuperGlue：用于特征匹配。
• OSEDiff：用于图像生成与编辑。
• Pi3_splat：模型可从 https://huggingface.co/lishiqianhugh/Pi3_splat 下载。
• DiffSplat：模型可从 https://huggingface.co/chenguolin/DiffSplat 下载。
• SAM2：用于图像分割。

主要用途

该数据集用于训练和评估物理接地的4D动态模型（如Neural Gaussian Force Fields），支持以下任务：

• 动态模型训练。
• 4D视频预测（从单视角视频重建并生成未来动态）。
• 高斯点云的可视化。

引用

若使用该数据集或相关代码，请引用：

@inproceedings{ Li2026PhysicsGrounded4D, title = {Learning Physics-Grounded 4D Dynamics with Neural Gaussian Force Fields}, author = {Li, Shiqian and Shen, Ruihong and Ni, Junfeng and Pan, Chang and Zhang, Chi and Zhu, Yixin}, year = {2026}, booktitle = {ICLR}, url = {https://neuralgaussianforcefield.github.io/} }

搜集汇总

数据集介绍

构建方式

在计算机视觉与物理模拟交叉领域，GSCollision数据集通过多阶段流程精心构建。首先，利用高斯溅射技术将独立物体与背景转化为三维表示，形成静态高斯模型库。随后，通过场景配置文件动态组合多个物体，构建出包含复杂空间关系的初始场景。关键步骤是引入物质点法进行物理仿真，模拟物体间的碰撞与运动过程，生成动态高斯序列。最终，结合多视角渲染技术，将仿真结果转化为包含时间维度的视觉序列，形成完整的四维动态数据集。

特点

该数据集的核心特征在于其物理真实性与时空一致性。每个场景不仅包含静态三维结构，更通过物理引擎模拟出符合牛顿力学的动态演化过程。数据集采用分层存储架构，将物体模型、背景环境、场景配置与动态序列分离管理，支持灵活的组件替换与场景重构。特别值得注意的是，所有动态序列均附带精确的物理仿真数据，为研究物理启发的动态建模提供了高质量的监督信号。这种结构使得数据集既能支持视觉任务，又能满足物理推理需求。

使用方法

使用该数据集需遵循标准化流程。研究人员首先通过场景配置文件定义物体初始位姿，调用高斯生成模块构建静态场景。随后利用物质点法仿真模块计算物理动态，生成包含时间序列的高斯表示。在训练阶段，可将动态序列输入神经网络模型，学习物理规律的隐式表示。推理时，通过重建模块从单视角视频中提取高斯表示，再结合训练好的动态模型预测未来状态。数据集提供完整的可视化工具链，支持在浏览器中实时查看三维高斯场及其动态演化过程。

背景与挑战

背景概述

在计算机视觉与物理模拟交叉领域，高保真动态场景的建模与生成一直是核心研究议题。GSCollision数据集由Li Shiqian等人于2026年构建，旨在支持基于物理的4D动态学习研究。该数据集依托神经高斯力场（Neural Gaussian Force Fields）框架，专注于多物体碰撞与交互的精细化模拟，为动态高斯溅射（Gaussian Splatting）与物理驱动视频生成提供了大规模、结构化的基准数据。其创建推动了从静态三维重建向物理可信的四维时空动态建模的范式演进，对机器人仿真、虚拟现实及自动驾驶等领域的场景理解与预测任务具有深远影响。

当前挑战

GSCollision数据集致力于解决物理基础的四维动态场景建模与预测问题，其核心挑战在于如何从多视角视频中精确解耦并重建动态物体的运动轨迹，同时确保物理规律的遵循。构建过程中的挑战主要体现在多源数据的融合与规模化生成上：需将离散的高斯溅射表示、物质点法（MPM）物理模拟以及多视角渲染流水线无缝集成，并保证大规模场景数据在几何、外观与动力学属性上的一致性。此外，动态高斯序列的存储、高效检索与真实感渲染也对数据基础设施提出了较高要求。

常用场景

经典使用场景

在计算机视觉与物理模拟交叉领域，GSCollision数据集为研究基于高斯力场的四维动态建模提供了核心实验平台。其经典使用场景聚焦于多物体碰撞过程的物理动力学仿真，通过整合静态高斯溅射表示与物质点法模拟，生成包含初始状态、动态演化及多视角渲染视频的完整序列。该数据集支持从场景配置、高斯溅射生成到物理仿真与渲染的全流程，为学习物理接地的四维动态模型提供了标准化、可复现的基准环境。

实际应用

在实际应用层面，GSCollision数据集为机器人操作仿真、虚拟现实环境构建以及自动驾驶场景生成提供了高保真的物理动态数据源。其生成的碰撞过程视频与高斯溅射序列能够用于训练机器人对物体交互的物理直觉，或增强虚拟环境中物体行为的真实感。此外，该数据集支持动态场景的实时渲染与编辑，为游戏开发、影视特效以及工业数字孪生系统提供了可扩展的物理动态资产，助力实现更自然、更符合物理规律的虚拟交互体验。

衍生相关工作

围绕GSCollision数据集，已衍生出一系列聚焦于动态高斯表示与物理基础建模的经典研究工作。例如，基于该数据集的Neural Gaussian Force Fields（NGFF）框架探索了神经力场与高斯溅射的融合，实现了物理接地的四维动态预测。同时，该数据集也启发了对DiffSplat、Pi3_splat等动态溅射生成方法的评估与改进，促进了如PhysGaussian等物理仿真方法与神经渲染技术的结合。这些工作共同推动了动态场景表示从静态重建向物理一致、时序连贯的四维建模演进。