TaoGS Dataset

我们目前上传了7个样本案例数据，包含不同人物和多样化动作。数据集包含经过处理的图像数据，包括遮罩RGB图像、去失真图像以及相机外参和内参数据，格式支持NGP和Gaussian Splatting。

We have currently uploaded 7 sample case datasets covering diverse human figures and varied motions. The dataset includes processed image data, such as masked RGB images, undistorted images, as well as camera extrinsic and intrinsic parameters, and supports formats compatible with NGP and Gaussian Splatting.

原始信息汇总

TaoGS 数据集概述

数据集基本信息

• 名称：TaoGS Dataset
• 关联论文：Topology-Aware Optimization of Gaussian Primitives for Human-Centric Volumetric Videos
• 会议：SIGGRAPH Asia 2025
• 论文链接：https://arxiv.org/abs/2509.07653
• 数据集链接：https://cvrmkura-my.sharepoint.com/:f:/g/personal/sdjnes_cvrmkura_onmicrosoft_com/EkLQzzmfMM5EhWfKBUzPjrwB1Q98SlBha4gRV7lHLUcU-Q?e=dPiBQ1

数据集内容

• 包含7个样本案例，涵盖不同人物和多样化动作
• 数据格式包括原始视频和经过处理的图像数据

数据处理

• 使用BackgroundMattingV2进行视频提取和遮罩处理
• 提供两种数据格式：
  • instant-ngp格式（image_white目录）
  • Gaussian Splatting格式（image_white_undistortion目录）

文件结构

├── image_white │ ├── %d（帧编号，从0开始） │ │ └──%d.png（每个视角的遮罩RGB图像，视角编号从0开始） │ └── transforms.json（NGP格式的相机外参和内参） │ ├── image_white_undistortion │ ├── %d（帧编号，从0开始） │ │ └──%d.png（每个视角的去失真遮罩RGB图像，视角编号从0开始） │ └── colmap/sparse/0（Gaussian Splatting格式的相机外参和内参）

使用许可

• 仅限非商业用途
• 商业使用需联系作者获取许可

引用格式

bibtex @misc{jiang2025topology, title={Topology-Aware Optimization of Gaussian Primitives for Human-Centric Volumetric Videos}, author={Yuheng Jiang and Chengcheng Guo and Yize Wu and Yu Hong and Shengkun Zhu and Zhehao Shen and Yingliang Zhang and Shaohui Jiao and Zhuo Su and Lan Xu and Marc Habermann and Christian Theobalt}, year={2025}, eprint={2509.07653}, archivePrefix={arXiv}, primaryClass={cs.GR}, url={https://arxiv.org/abs/2509.07653}, }

搜集汇总

数据集介绍

构建方式

在人类中心化三维视频研究领域，TaoGS数据集的构建采用了多视角同步采集系统，通过高分辨率摄像机阵列捕捉不同个体执行多样化动作的立体影像。原始数据经过背景分割与畸变校正处理，生成带有精确相机标定参数的掩膜图像序列，并分别以Instant-NGP和COLMAP格式存储空间结构与相机参数，确保了三维重建所需的数据一致性与几何准确性。

特点

该数据集涵盖七组不同人物与动作组合的样本案例，充分体现了人类运动的多样性与复杂性。其核心特点在于提供经过拓扑感知优化的高斯图元表示，支持高保真人体动态建模；数据包含未畸变掩膜图像与多格式相机参数，兼容主流三维重建框架；所有样本均配备严格的空间标定与时间同步信息，为人体中心化体积视频研究提供高质量基准数据。

使用方法

研究者需首先克隆BackgroundMattingV2项目并配置依赖环境，通过预处理脚本提取帧序列并执行背景分割与畸变校正。针对单帧数据处理，需根据目标框架调整目录结构：Instant-NGP格式需重命名图像文件夹并移动transforms.json文件，而COLMAP格式则需整合稀疏点云数据与图像目录。数据集支持非商业研究用途，商业应用需联系作者获取授权。

背景与挑战

背景概述

在计算机图形学与三维重建领域，以人为中心的容积视频技术正成为研究热点。TaoGS数据集由上海科技大学与马克斯·普朗克信息学研究所等机构联合开发，于2025年正式发布，旨在推动基于高斯原语的拓扑感知优化方法研究。该数据集聚焦于多视角动态人体捕捉与重建，通过高精度相机阵列采集不同人物及多样化运动序列，为三维人体建模、动态场景重建及实时渲染提供了关键数据支撑。其创新性在于将拓扑约束融入高斯 splatting 框架，显著提升了人体动态重建的几何一致性与视觉保真度，对虚拟现实、数字孪生及影视特效等领域具有重要推动作用。

当前挑战

TaoGS数据集致力于解决动态人体容积视频重建中的两大核心挑战：一是高精度多视角几何一致性保持问题，即如何在复杂人体运动下维持表面拓扑结构的稳定性；二是实时渲染与细节保真度的平衡难题，需在有限计算资源下实现毫米级动态细节的重建。在构建过程中，研究团队面临多相机同步校准、大规模数据存储与处理、以及背景抠图与畸变校正等技术瓶颈。此外，动态序列的标定传递误差和光照变化下的材质一致性维护，亦对数据质量提出了极高要求。

常用场景

经典使用场景

在计算机图形学领域，TaoGS数据集专为拓扑感知的高斯基元优化而设计，其经典使用场景集中于人体中心化三维视频的重建与渲染。该数据集通过多视角同步采集的高质量图像序列，结合精确的相机标定参数，为三维高斯泼溅（3D Gaussian Splatting）技术提供了理想的训练与验证平台。研究人员可利用其丰富的动态人体动作数据，优化高斯基元的空间分布与拓扑关系，从而提升复杂姿态下三维模型的渲染质量与实时性能。

解决学术问题

TaoGS数据集有效解决了动态人体三维重建中拓扑结构失真与渲染效率低下的核心学术问题。通过提供多视角、高帧率的同步数据，它支持对非刚性形变、自遮挡及快速运动等挑战性场景的建模，显著改善了传统方法在细节保持与计算开销之间的平衡。该数据集的意义在于推动了基于物理的渲染与神经网络渲染的融合，为实时高保真三维人体数字化提供了可靠的数据基础，对虚拟现实、数字孪生等领域的算法发展具有深远影响。

衍生相关工作

围绕TaoGS数据集衍生的经典工作主要包括三维高斯泼溅的拓扑优化算法、动态神经辐射场（NeRF）的加速渲染技术，以及多视角几何一致性学习框架。这些研究显著推进了实时动态场景重建的发展，例如基于物理约束的高斯基元分布优化、拓扑自适应变形网络等。相关成果已被广泛应用于SLAM系统、AR/VR内容生成及自动驾驶仿真环境构建，形成了以人体为中心的三维视觉技术新范式。