iPhone360-4dgs360

iPhone360是一个用于从单目视频进行动态物体360°重建的基准数据集，由论文《4DGS360: 360° Gaussian Reconstruction of Dynamic Objects from a Single Video》提出。该数据集使用iPhone拍摄真实动态场景，其测试相机视角与训练视角显著不同，从而能够评估现有数据集无法提供的360°重建能力。数据集包含6个动态物体场景：block2、goat、jacket、jelly、pull-up、walk-around。每个场景提供以下数据：RGB帧、深度图、物体掩码、相机参数、训练/测试分割定义、初始点云、场景元数据（dataset.json、scene.json、metadata.json）、预处理光流数据（flow3d_preprocessed）以及视频深度估计（video_depth_anything）。数据集有两个版本：iPhone360-4dgs360版本包含重现4DGS360训练和评估所需的全部预处理输出（如2D/3D轨迹、轨迹掩码、精细化深度/轨迹、场景归一化张量等），体积较大；iPhone360版本仅包含相同的RGB/深度/掩码/相机/点云/分割数据，排除了4DGS360特定的中间预处理输出，下载量更小。该数据集适用于图像到3D重建、深度估计、动态场景3D重建、新视角合成等任务。iPhone360 is a benchmark dataset for 360° reconstruction of dynamic objects from monocular video, proposed by the paper 4DGS360: 360° Gaussian Reconstruction of Dynamic Objects from a Single Video. The dataset is captured using an iPhone in real dynamic scenes, with test camera viewpoints significantly different from training viewpoints, enabling evaluation of 360° reconstruction capabilities not provided by existing datasets. It contains 6 dynamic object scenes: block2, goat, jacket, jelly, pull-up, walk-around. Each scene provides: RGB frames, depth maps, object masks, camera parameters, train/test split definitions, initial point clouds, scene metadata (dataset.json, scene.json, metadata.json), preprocessed optical flow data (flow3d_preprocessed), and video depth estimation (video_depth_anything). The dataset has two versions: iPhone360-4dgs360 includes all preprocessed outputs required for reproducing 4DGS360 training and evaluation (e.g., 2D/3D trajectories, trajectory masks, refined depth/trajectories, scene normalization tensors), with larger size; iPhone360 version includes only the same RGB/depth/mask/camera/point cloud/split data, excluding 4DGS360-specific intermediate preprocessed outputs, resulting in smaller download size. The dataset is suitable for tasks such as image-to-3D reconstruction, depth estimation, dynamic scene 3D reconstruction, and novel view synthesis.

原始信息汇总

iPhone360 数据集（4dgs360 预处理版本）

概述

iPhone360 是一个用于从单目视频进行动态物体 360° 重建的基准数据集，由论文《4DGS360: 360° Gaussian Reconstruction of Dynamic Objects from a Single Video》引入。数据集中测试相机与训练视图的视角差异显著，能够评估现有数据集无法提供的 360° 重建能力。

数据集版本

该数据集提供两个版本：

• iPhone360-4dgs360（当前版本）：包含复现 4DGS360 训练和评估所需的全部预处理输出（如 2D/3D 轨迹、轨迹掩码、AnchorTAPIP3D 优化后的深度/轨迹、场景归一化缓存张量等），文件体积较大。
• iPhone360 版本：包含相同的 RGB、深度、掩码、相机、点云和划分数据，但排除了 4DGS360 特有的中间预处理输出，下载体积更小。建议快速适配新方法时优先使用该版本。

场景列表

场景	描述
block2	动态物体场景
goat	动态物体场景
jacket	动态物体场景
jelly	动态物体场景
pull-up	动态物体场景
walk-around	动态物体场景

数据结构

每个场景包含：

• rgb/ — RGB 帧
• depth/ — 深度图
• masks/ — 物体掩码
• camera/ — 相机参数
• splits/ — 训练/测试划分定义
• points.npy — 初始点云
• dataset.json / scene.json / metadata.json — 场景元数据
• flow3d_preprocessed/ — 预处理的场景流数据
• video_depth_anything/ — 视频深度估计结果

任务与用途

该数据集适用于图像到 3D 重建、深度估计等任务，可用于动态场景重建、高斯泼溅、新视角合成以及 360° 重建方法的研究与评估。

许可协议

数据集采用 CC-BY-4.0 许可协议。

引用

若使用该数据集，请引用论文： bibtex @article{jang2025_4dgs360, title = {4DGS360: 360° Gaussian Reconstruction of Dynamic Objects from a Single Video}, author = {Jang, Jae Won and Chang, Yeonjin and Shin, Wonsik and Cho, Juhwan and Kwak, Nojun}, journal = {arXiv preprint arXiv:2603.21618}, year = {2025}, url = {https://arxiv.org/abs/2603.21618} }

搜集汇总

数据集介绍

构建方式

iPhone360-4dgs360数据集源自iPhone360基准，由4DGS360论文团队构建，旨在从单目视频中实现动态物体的360°重建。其构建过程精心设计了六个真实世界动态场景（如block2、goat等），通过iPhone捕获，并确保测试相机视角与训练视角显著不同，以评估泛化能力。数据集提供了完整预处理输出，包括RGB帧、深度图、物体掩码、相机参数、训练/测试划分、初始点云，以及光流、视频深度估计和2D/3D轨迹等中间结果，确保端到端复现4DGS360方法的可行性。

特点

该数据集的核心特点在于其专为360°动态重建设计，测试视角与训练视角的巨大差异对算法提出了更高挑战。其独特之处在于提供全流程预处理产物，包括由AnchorTAPIP3D优化的深度与轨迹，以及场景归一化张量，极大简化了研究者的复现流程。此外，数据涵盖多种动态物体场景，兼具真实性与多样性，为动态场景的神经渲染和3D重建研究提供了高价值的基准。

使用方法

使用此数据集时，研究者可直接用于训练和评估4DGS360模型，因所有预处理数据齐备，可一键复现论文结果。对于新方法，建议先采用精简版iPhone360数据集进行快速适配，再进行完整版验证。数据按场景组织，每场景内含标准目录结构，便于加载RGB、深度、掩码和相机参数。支持新视角合成与深度估计任务，适合作为动态场景3D重建研究的基准。

背景与挑战

背景概述

随着神经渲染与三维重建技术的迅猛发展，从单目视频中恢复动态对象的时空连贯表示已成为计算机视觉与图形学交叉领域的研究热点。然而，现有基准数据集多聚焦于静态场景或前向视角，难以评估模型在极端视角变化下的泛化能力。为此，由Jae Won Jang、Yeonjin Chang等研究者于2025年提出的iPhone360数据集，通过iPhone采集真实世界动态场景，并特意将测试相机布置于与训练视角显着不同的角度，构建了首个支持360°动态对象重建的公开基准。该数据集附有完整的预处理流程与多模态标注，为高斯泼溅等新兴方法提供了端到端的评测平台，有力推动了动态场景新视角合成领域的发展。

当前挑战

iPhone360所应对的领域挑战在于单目视频动态场景的360°重建任务，其核心难点源于训练视角与测试视角间巨大的视差，这要求模型具备超越插值能力的强外推鲁棒性，同时需精确处理动态对象的非刚性运动、遮挡与复杂表面反射。在构建过程中，数据采集面临动态对象与手持相机的双重运动耦合问题，需借助多模态传感器同步与精细的帧间对齐；预处理阶段则需攻克光流估计、深度细化与长时程运动轨迹追踪的误差累积，以及为适配高斯泼溅而开展的场景归一化与数据缓存等工程实现难题，最终在保证数据规模与质量的前提下，实现标准化、可复现的基准评测流程。

常用场景

经典使用场景

iPhone360-4dgs360数据集作为动态场景360度重建领域的基准，其核心应用在于从单目视频中重建动态物体的完整三维表示。该数据集特别设计为测试视角与训练视角存在显著差异，从而能够严格评估模型在未见视角下的泛化能力。经典的用法包括训练和测试基于高斯溅射的动态场景重建模型，利用其提供的RGB序列、深度图、物体掩码和相机参数，进行端到端的训练与评估。研究者可将此数据集作为标准基准，对比不同算法在360度重建任务上的性能，如新视角合成质量、几何精度以及时间一致性等指标，从而推动该领域技术的快速发展。

实际应用

在实际应用中，iPhone360数据集能够支撑众多需要动态三维重建的产业场景。例如，在增强现实（AR）和虚拟现实（VR）中，该数据集可用于训练模型从日常手机拍摄的视频中重建真实物体的360度模型，实现沉浸式交互体验。在影视制作和游戏开发领域，它有助于从单镜头素材中提取动态三维内容，降低内容创作成本。此外，在机器人导航与操控、自动驾驶以及数字人建模等应用中，该数据集支持对动态目标的精确三维感知，从而提升系统在复杂环境下的鲁棒性和适应性。

衍生相关工作

iPhone360数据集的发布催生了一系列相关研究工作。其随附的4DGS360方法引入了针对动态场景的360度高斯重建框架，成为该领域的代表性工作。在此基础上，研究者们进一步探索了改进的时空一致性的正则化项、更高效的3D轨迹追踪与深度细化技术，以及结合神经隐式表示的混合重建方案。数据集提供的预处理输出（如跟踪-任何物体掩码和AnchorTAPIP3D细化的深度）也促进了多任务学习与联合优化研究，衍生出如动态场景的语义重建、自由视点视频生成等工作，形成了一个活跃的研究方向。