synHOR

synHOR是一个合成数据集，由萨里大学CVSSP创建，用于训练和评估着装人类和物体联合重建模型。该数据集包含由THuman2.0数据集的人体扫描和BEHAVE及HODome数据集的物体网格组成的3D场景，旨在促进单张图像中空间一致且真实的着装人类和物体重建研究。

synHOR is a synthetic dataset created by the Centre for Vision, Speech and Signal Processing (CVSSP) at the University of Surrey for training and evaluating joint reconstruction models for clothed humans and objects. This dataset comprises 3D scenes constructed from human scans sourced from the THuman2.0 dataset and object meshes from the BEHAVE and HODome datasets. It is designed to facilitate research on spatially consistent and photorealistic joint reconstruction of clothed humans and objects from a single image.

搜集汇总

数据集介绍

构建方式

该数据集synHOR是由英国萨里大学视觉、语音和信号处理中心的研究团队创建的，用于训练和评估从单视角图像中重建空间一致且逼真的着装人体和物体的模型。数据集的构建过程首先是从公共THuman2.0数据集中随机选取3D人体扫描，并与从BEHAVE和HODome数据集中选取的3D物体网格随机放置在多种3D空间配置中。然后，使用透视相机模拟了6个随机平移的人体-物体对，并对每个平移渲染了180个视图。最后，丢弃了物体不在视图中的图像，形成了用于训练的500个主题数据集和用于定量评估的99个图像。

使用方法

使用synHOR数据集时，首先需要对输入图像进行语义分割，以区分人体和物体，并估计SMPL-H模型的姿态。然后，使用条件生成模型处理人体被物体遮挡的部分，通过图像生成模型对遮挡的人体部位进行修复。最后，将生成的完整人体图像、物体图像、输入图像和估计的姿态参数输入到基于注意力的神经隐式模型中，该模型可以同时估计人体和物体的隐式表示。模型输出的是人体和物体的3D形状，可以使用Marching Cubes算法提取等值面来获得最终的三维模型。

背景与挑战

背景概述

随着计算机视觉和图形学的不断发展，单视图3D重建已成为一个重要的研究方向。synHOR数据集正是在这样的背景下诞生的。该数据集由英国萨里大学的视觉、语音和信号处理中心（CVSSP）的Ayushi Dutta等人创建于2025年。该数据集旨在解决现实世界中人类与其他物体共享空间时的3D重建问题。由于遮挡和缺乏3D空间意识，重建包含人类和物体的图像面临着深度模糊的挑战。synHOR数据集通过提供渲染的场景，其中包含相互遮挡的3D人体扫描和多样化的物体，为解决这一挑战提供了宝贵的资源。该数据集的创建不仅推动了3D人体和物体重建技术的进步，也为虚拟现实、电影制作、游戏和社交远程呈现等领域提供了重要的支持。

当前挑战

synHOR数据集面临的挑战主要包括：1) 解决领域问题：由于单视图3D重建的固有缺陷，多个3D空间配置的人类和物体可以投影到同一2D图像上，导致深度模糊和难以估计3D空间中人类和物体的相对大小、形状和位置。此外，人类和物体之间的遮挡进一步增加了推理的复杂性。2) 构建过程中遇到的挑战：由于缺乏高质量、真实3D表面的现有数据集，synHOR数据集的创建面临着巨大的挑战。为了解决这个问题，研究人员创建了包含3D人体扫描和多样化物体的渲染场景。此外，由于synHOR数据集的创建需要大量的计算资源和时间，因此数据集的构建过程也面临着挑战。

常用场景

经典使用场景

synHOR数据集主要应用于从单一图像中重建空间上连贯且逼真的着装人体和物体。它通过结合图像像素对齐和语义特征提取，以及生成扩散模型来处理遮挡问题，从而实现高质量细节的恢复和3D空间感知。该数据集在合成和真实数据集上的广泛评估显示，其重建质量优于现有方法，为虚拟现实、电影制作、游戏和社会远程呈现等应用提供了高质量的3D人体和物体数字化。

解决学术问题

synHOR数据集解决了从单一图像中重建着装人体和物体时遇到的遮挡和缺乏3D空间感知问题。现有方法往往依赖模板式的参数化表示，无法捕捉到人体和物体表面的复杂细节。synHOR数据集通过引入一个新颖的基于注意力的神经隐式模型，利用图像像素对齐来检索高质量细节，并结合从人体-物体姿态中提取的语义特征，以实现3D空间感知，从而解决了这一难题。此外，该数据集还解决了人体-物体遮挡问题，通过生成扩散模型来处理遮挡，从而实现了空间上连贯的重建。

实际应用

synHOR数据集的实际应用场景包括虚拟现实、电影制作、游戏和社会远程呈现等。例如，在虚拟现实应用中，synHOR数据集可以帮助创建逼真的虚拟环境，其中包含着装人体和物体。在电影制作中，该数据集可以用于创建逼真的数字角色和场景。在游戏中，synHOR数据集可以帮助创建更加逼真的游戏角色和物体。在社会远程呈现中，该数据集可以用于创建逼真的远程呈现效果，从而提高远程通信的体验。

数据集最近研究

最新研究方向

随着虚拟现实、电影制作、游戏和社交远程呈现等领域的日益增长需求，数字化3D人体和物体变得至关重要。synHOR数据集的提出，为从单张图像中联合重建真实、非参数化的着装人体和物体提供了可能，填补了现有研究的空白。该数据集通过引入新颖的注意力机制神经网络隐式模型，利用图像像素对齐来检索高质量的细节，并融入从人体-物体姿态中提取的语义特征，以实现3D空间感知。同时，生成扩散模型用于处理人体-物体遮挡问题。synHOR数据集的引入为单视图3D重建领域带来了新的突破，为未来研究提供了宝贵的资源。

相关研究论文

• Joint Reconstruction of Spatially-Coherent and Realistic Clothed Humans and Objects from a Single Image

  萨里大学视觉、语音和信号处理中心（CVSSP） · 2025年