mv3dpt-datasets

多视角3D点追踪数据集，包含合成和真实世界数据，用于训练和评估多视角3D点追踪算法。

原始信息汇总

Multi-View 3D Point Tracking Datasets 概述

数据集基本信息

• 语言：英语
• 任务类别：关键点检测
• 标签：3D跟踪、多视角、点云、计算机视觉、机器人学、合成数据、真实世界数据、PyTorch、PyTorch Hub
• 许可证：其他

数据集来源

该数据集与论文《Multi-View 3D Point Tracking》相关联。

数据集组成

数据集包含三个预处理版本的数据集，用于多视角3D点跟踪的基准测试：

• MV-Kubric：从单视角Kubric改编到多视角设置的合成训练数据集
• Panoptic Studio：包含真实世界活动的评估基准（10个序列），如篮球、杂耍和玩具玩耍
• DexYCB：包含真实世界手-物体交互的评估基准（10个序列）

数据下载与提取

数据集总大小约为72 GB（解压后），可通过以下命令下载：

bash

MV-Kubric（模拟+DUSt3R深度）

wget https://huggingface.co/datasets/ethz-vlg/mv3dpt-datasets/resolve/main/kubric-multiview--test.tar.gz -P datasets/ wget https://huggingface.co/datasets/ethz-vlg/mv3dpt-datasets/resolve/main/kubric-multiview--test--dust3r-depth.tar.gz -P datasets/ tar -xvzf datasets/kubric-multiview--test.tar.gz -C datasets/ tar -xvzf datasets/kubric-multiview--test--dust3r-depth.tar.gz -C datasets/ rm datasets/kubric-multiview*.tar.gz

Panoptic Studio（基于Dynamic3DGS的优化深度）

wget https://huggingface.co/datasets/ethz-vlg/mv3dpt-datasets/resolve/main/panoptic-multiview.tar.gz -P datasets/ tar -xvzf datasets/panoptic-multiview.tar.gz -C datasets/ rm datasets/panoptic-multiview.tar.gz

DexYCB（Kinect+DUSt3R深度）

wget https://huggingface.co/datasets/ethz-vlg/mv3dpt-datasets/resolve/main/dex-ycb-multiview.tar.gz -P datasets/ wget https://huggingface.co/datasets/ethz-vlg/mv3dpt-datasets/resolve/main/dex-ycb-multiview--dust3r-depth.tar.gz -P datasets/ tar -xvzf datasets/dex-ycb-multiview.tar.gz -C datasets/ tar -xvzf datasets/dex-ycb-multiview--dust3r-depth.tar.gz -C datasets/ rm datasets/dex-ycb-multiview*.tar.gz

使用许可

关于许可和使用条款，请参考这些预处理版本所基于的原始数据集。

相关资源

• 项目页面：https://ethz-vlg.github.io/mvtracker/
• 代码/GitHub仓库：https://github.com/ethz-vlg/mvtracker

引用

如果使用该数据集，请引用以下工作：

bibtex @inproceedings{rajic2025mvtracker, title = {Multi-View 3D Point Tracking}, author = {Raji{v{c}}, Frano and Xu, Haofei and Mihajlovic, Marko and Li, Siyuan and Demir, Irem and G{"u}ndo{u{g}}du, Emircan and Ke, Lei and Prokudin, Sergey and Pollefeys, Marc and Tang, Siyu}, booktitle = {Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV)}, year = {2025} }

搜集汇总

数据集介绍

构建方式

在多视角三维点云跟踪研究领域，该数据集通过精心整合合成与真实数据构建而成。MV-Kubric子集基于单视角Kubric序列扩展为多视角合成数据，Panoptic Studio子集采用Dynamic3DGS优化深度方法处理真实活动场景，DexYCB子集则融合Kinect传感器与DUSt3R深度估计技术捕捉手物交互数据。所有数据均经过严格的预处理流程，确保多视角几何一致性与时空对齐。

特点

该数据集显著特征在于其多模态数据融合架构，同时包含合成模拟与真实采集的三维轨迹数据。数据集涵盖篮球运动、杂耍表演、玩具操作等多样动态场景，以及精细的手部物体交互序列。每个样本提供多视角RGB图像、深度图、相机内外参数及三维查询点坐标，支持1-8个可变视角配置与24-150帧视频长度，为三维视觉研究提供丰富且可扩展的基准。

使用方法

研究者可通过官方提供的下载脚本获取预处理后的数据集文件，解压后即可直接加载使用。数据集与PyTorch Hub预训练模型完全兼容，用户只需准备多视角图像序列、深度信息及相机参数，即可通过标准接口调用三维点跟踪算法。评估流程支持在Panoptic Studio和DexYCB基准上进行定量分析，输出包含三维轨迹坐标和可见性掩码的完整预测结果。

背景与挑战

背景概述

多视角三维点追踪作为计算机视觉与机器人领域的核心研究方向，旨在通过多相机系统实现对动态场景中任意三维点的精确跟踪。该数据集由苏黎世联邦理工学院视觉几何组于2025年创建，主要研究人员包括Frano Rajič等人，其核心研究问题在于解决单目跟踪中的深度模糊与遮挡难题，通过多视角融合技术提升三维运动分析的精度与鲁棒性。该数据集的发布为多视角三维追踪建立了新的基准，显著推动了自动驾驶、人机交互等领域的算法发展。

当前挑战

在领域问题层面，多视角三维点追踪需克服深度感知歧义、长期遮挡下的轨迹断裂以及跨视角特征匹配一致性等核心挑战。构建过程中，数据集面临合成数据与真实场景间的域适应难题，需协调不同传感器（如Kinect与DUSt3R）的深度估计差异，同时确保多相机标定精度与大规模点云数据的高效存储与处理。

常用场景

经典使用场景

在三维视觉研究领域，mv3dpt-datasets通过多视角相机系统捕捉动态场景中的点云轨迹，为三维点跟踪算法提供标准化评估基准。该数据集典型应用于多视图几何分析场景，研究者利用其合成的MV-Kubric序列和真实世界的Panoptic Studio、DexYCB数据，验证模型在篮球运动、杂耍表演以及手物交互等复杂动态环境下的三维点跟踪精度。

实际应用

在机器人导航和增强现实系统中，该数据集支撑了高精度三维运动捕捉技术的实际部署。基于多视角点云跟踪的算法可应用于自动驾驶车辆的障碍物轨迹预测、工业机械臂的精细操作监控，以及虚拟现实中人体动作的实时三维重建，显著提升了动态场景感知的鲁棒性和空间定位的准确性。

衍生相关工作

该数据集的发布催生了多项基于Transformer架构的多视角三维跟踪模型，例如MVTracker等端到端深度学习框架。相关研究进一步拓展到多传感器融合、隐式神经表示等领域，推动了Dynamic3DGS优化方法和DUSt3R深度估计技术在多视角几何计算中的创新应用，形成了一系列关于动态场景三维重建的经典学术成果。