HGGT-synthetic-data

HGGT合成数据集是一个用于手-物体交互研究的合成多视角数据集，旨在支持鲁棒且灵活的3D手部网格重建任务。该数据集通过随机化相机视角渲染了多样化的逼真手-物体交互场景，弥补了真实世界采集数据中视角多样性的不足。数据集结构按物体尺寸分为small、medium和large三类，每个类别包含多个压缩分片（shard），每个分片包含约50个物体UUID目录。每个目录包含多视角RGB图像、手和物体的分割掩码、每视角的深度图真值、相机外参和内参矩阵以及包含MANO参数等元数据的info.json文件。数据集基于Objaverse的3D物体资产、GraspXL的手-物体交互数据以及DART的手部纹理材料构建，适用于手-物体重建、手部姿态估计和3D重建等任务。数据集采用CC BY-NC 4.0许可，要求使用者同时引用HGGT、Objaverse、GraspXL和DART的相关论文。

原始信息汇总

HGGT合成数据集概述

数据集基本信息

• 数据集名称：HGGT Synthetic Dataset
• 发布者/存储库：catmint123/HGGT-synthetic-data
• 许可证：CC BY-NC 4.0
• 相关任务：其他
• 标签：手部-物体重建、手部姿态估计、3D重建、多视角、合成数据、手部、MANO

数据集简介

该数据集是为论文《HGGT: Robust and Flexible 3D Hand Mesh Reconstruction from Uncalibrated Images》引入的合成多视角手-物体交互数据集。它包含多样化的、具有随机相机视点的照片级真实感手-物体交互渲染，提供了真实世界捕获中缺乏的关键视点多样性。该数据集与真实单目和真实多视角数据一起，在混合数据训练策略下使用。

数据集结构

数据集根目录结构如下：

• small/：包含按物体物理尺寸分类的小型物体数据，每个 shard_*.tar 文件约2GB，包含约50个物体uuid目录。
• medium/：包含中型物体数据。
• large/：包含大型物体数据。
• splits/：包含划分文件。
  • train.txt：用于训练的对象uuid列表。
  • test.txt：用于测试的对象uuid列表。
• invalid_masks_train.json

每个物体uuid目录下的具体结构为：

<object_uuid>/ └── <motion_id>/ # GraspXL运动序列索引 └── sequence_<XXXXXX>/ # 从运动中采样的帧 ├── images/ # 多视角渲染的RGB图像 ├── masks/ # 每视角的手部和物体分割掩码 ├── multi_depth_gt/ # 每视角的真实深度图 ├── camera/ │ ├── extrinsics/ # 每视角相机外参矩阵 │ └── intrinsics.txt └── info.json # 元数据

数据下载与使用

下载整个数据集： python from huggingface_hub import snapshot_download snapshot_download( repo_id="catmint123/HGGT-synthetic-data", repo_type="dataset", local_dir="data/hggt_synthetic", )

下载特定部分（例如 small）： python snapshot_download( repo_id="catmint123/HGGT-synthetic-data", repo_type="dataset", local_dir="data/hggt_synthetic", allow_patterns="small/*", )

解压数据： bash cd data/hggt_synthetic/small for f in *.tar; do tar -xf "$f"; done

使用说明：划分文件 splits/train.txt 和 splits/test.txt 列出了分别用于训练和测试的对象uuid目录。数据加载和训练脚本请参考HGGT代码仓库：https://github.com/lym29/HGGT。

数据来源

该数据集基于以下工作构建：

• 3D物体资产：物体网格来源于Objaverse (Deitke et al., CVPR 2023)。
• 手-物体交互数据：手-物体交互配置和抓取运动来源于GraspXL (Zhang et al., ECCV 2024)。
• 手部纹理材料：手部外观纹理来源于DART (Gao et al., NeurIPS 2022)。 使用本数据集时，请确保同时引用这些相关工作。

许可证信息

本数据集采用知识共享署名-非商业性使用 4.0 国际许可协议。您可以自由地共享和改编数据用于非商业目的，但需给出适当的署名。 本数据集基于Objaverse (CC BY 4.0)、GraspXL (CC BY-NC 4.0) 和 DART 构建。使用时请审查并遵守其各自的许可证。

引用

如需使用本数据集，请引用相关论文：

• HGGT论文：Liu et al., arXiv preprint arXiv:2603.23997, 2026.
• Objaverse：Deitke et al., CVPR 2023.
• GraspXL：Zhang et al., ECCV 2024.
• DART：Gao et al., NeurIPS 2022. 具体BibTeX条目请参见数据集README文件。

搜集汇总

数据集介绍

构建方式

在三维手部网格重建领域，合成数据的生成对于弥补真实数据在视角多样性上的不足至关重要。HGGT合成数据集通过整合多个前沿资源构建而成，其核心流程始于从Objaverse获取大规模的三维物体资产，这些资产提供了丰富的几何形状。随后，利用GraspXL生成的手-物交互配置与抓取运动数据，为这些物体配以自然的手部动作序列。在此基础上，采用DART的手部纹理材料赋予手部模型逼真的外观，并通过随机化的摄像机参数进行多视角渲染，最终生成了包含RGB图像、分割掩码、深度图及相机内外参数等完整标注的光照真实合成序列。

特点

该数据集在三维手部姿态估计与重建任务中展现出鲜明的特色。其最突出的优势在于提供了广泛且随机化的摄像机视角，有效解决了真实世界采集数据中视角覆盖有限的瓶颈问题。数据集依据物体物理尺寸进行了系统化分类，形成了小、中、大三种规模子集，便于针对不同尺度的交互进行研究。每个数据样本均包含多视角的RGB图像、精确的手与物体分割掩码、地面真实深度图以及完整的相机标定参数，构成了一个标注详尽、信息耦合紧密的多模态数据单元，为模型训练提供了强有力的监督信号。

使用方法

为有效利用该数据集进行模型训练与评估，用户需遵循特定的数据加载流程。首先，通过Hugging Face Hub提供的`snapshot_download`接口下载数据集，并可选择性地指定特定规模子集。下载完成后，需解压对应的tar分片文件以访问原始数据。数据组织以物体UUID和运动序列为索引，训练与测试的划分由`splits`目录下的文本文件明确界定。在实际应用中，建议结合HGGT官方代码库提供的数据加载脚本，以正确读取图像、标注及元数据，并集成到混合数据训练策略中，与真实单目及多视角数据协同使用，以提升模型的鲁棒性与泛化能力。

背景与挑战

背景概述

在三维视觉与图形学领域，手部与物体交互的重建是理解人类灵巧操作的关键，然而真实世界数据往往受限于视角单一与标注成本。HGGT合成数据集于2026年由Yumeng Liu等研究人员提出，作为《HGGT: Robust and Flexible 3D Hand Mesh Reconstruction from Uncalibrated Images》研究的核心组成部分，旨在通过合成多视角数据弥补真实捕获的不足。该数据集融合了Objaverse的三维物体资产、GraspXL的大规模抓取运动数据以及DART的手部纹理材料，构建了具有丰富视角多样性的光真实感手物交互场景，为无标定图像下的三维手部网格重建提供了关键训练资源，推动了手部姿态估计与三维重建领域的发展。

当前挑战

该数据集致力于解决手部与物体三维重建中的核心挑战，即在无标定多视角图像下实现鲁棒且灵活的手部网格重建。真实世界数据常因视角覆盖有限、标注噪声以及环境干扰而难以捕捉完整的手物交互几何与外观变化，合成数据则需在逼真性与多样性之间取得平衡。构建过程中，研究人员面临整合异构数据源的复杂性，包括协调不同尺度物体资产、模拟自然抓取运动以及渲染多视角一致的光照与纹理，同时确保合成数据与真实数据的分布对齐，以支持混合训练策略的有效性。

常用场景

经典使用场景

在三维手部网格重建领域，HGGT合成数据集通过提供多视角、高真实感的手-物体交互渲染图像，成为训练和评估模型的基石。其核心应用场景在于弥补真实世界数据中视角多样性的不足，支持混合数据训练策略，使模型能够从合成数据中学习到广泛的手部姿态和物体交互模式，进而提升在未校准图像上的重建鲁棒性。

实际应用

在实际应用中，HGGT合成数据集为虚拟现实、增强现实以及人机交互系统提供了高质量的训练数据基础。例如，在开发能够精确理解用户手部动作与虚拟物体交互的AR应用时，该数据集生成的多样化手部姿态与物体抓取场景，能够有效提升系统对复杂手势的识别与重建精度，从而创造更自然、沉浸式的交互体验。

衍生相关工作

该数据集衍生的经典工作紧密围绕其构建基础展开。它深度融合了Objaverse的大规模三维物体资产、GraspXL的抓取运动数据以及DART的手部纹理模型，为手-物体交互研究树立了新的数据基准。基于此，后续研究可在多视角几何理解、无监督域适应以及生成式手部运动建模等方向进行深入探索，持续推动该领域的技术边界。