ProciGen

ProciGen is a synthetic human-object interaction dataset with 1M+ images of human interacting with 21k+ different objects. We achieve this by procedurally combining human, object and interaction datasets together.

ProciGen是一款合成式人-物交互（human-object interaction）数据集，涵盖超过100万张人类与2.1万余种不同物体进行交互的图像。该数据集通过将人类、物体及交互数据集进行程序化拼接的方式构建而成。

原始信息汇总

数据集概述

名称： ProciGen

描述： ProciGen是一个合成的人-物体交互数据集，包含超过100万张图像，涉及21,000多种不同的物体。该数据集通过程序化地组合人、物体及交互数据集来生成。

数据集结构：

• 下载链接： 数据集可从edmond下载。
• 文件组织： 每个序列包含一个根目录，其中包含序列名称目录，每个序列目录下包含info.json文件和多个帧目录。每个帧目录包含颜色图像、人物和物体掩码图像、深度图像（可选）以及其他预计算数据。

模型信息：

• 人类模型： 使用SMPL-H模型，参数和网格存储在person/fit01目录中。
• 物体模型： 物体模型来自ShapeNet、Objaverse和ABO数据集，存储在<object_name>/fit01目录中。

相机参数： 使用BEHAVE和InterCap的相机参数，存储在<sequence>/info.json文件中。

许可证： 下载和使用数据集需遵守LICENSE。

引用信息： 若使用数据或代码，请引用以下文献：

@inproceedings{xie2023template_free, title = {Template Free Reconstruction of Human-object Interaction with Procedural Interaction Generation}, author = {Xie, Xianghui and Bhatnagar, Bharat Lal and Lenssen, Jan Eric and Pons-Moll, Gerard}, booktitle = {IEEE Conference on Computer Vision and Pattern Recognition (CVPR)}, month = {June}, year = {2024}, }

同时，也请考虑引用以下数据集：

@inproceedings{bhatnagar22behave, title = {BEHAVE: Dataset and Method for Tracking Human Object Interactions}, author = {Bhatnagar, Bharat Lal and Xie, Xianghui and Petrov, Ilya and Sminchisescu, Cristian and Theobalt, Christian and Pons-Moll, Gerard}, booktitle = {{IEEE} Conference on Computer Vision and Pattern Recognition (CVPR)}, month = {June}, year = {2022}, } @inproceedings{huang2022intercap, title = {{InterCap}: {J}oint Markerless {3D} Tracking of Humans and Objects in Interaction}, author = {Huang, Yinghao and Taheri, Omid and Black, Michael J. and Tzionas, Dimitrios}, booktitle = {{German Conference on Pattern Recognition (GCPR)}}, volume = {13485}, pages = {281--299}, year = {2022}, organization = {Springer}, series = {Lecture Notes in Computer Science} }

数据集来源

• 人类模型： SMPL-H参数和网格。
• 物体模型： 来自ShapeNet、Objaverse和ABO数据集。
• 相机参数： 来自BEHAVE和InterCap。

搜集汇总

数据集介绍

构建方式

ProciGen数据集的构建采用了程序化生成的方法，通过将人类、物体和交互数据集进行程序化组合，生成了包含超过100万张图像和2.1万多个不同物体的人类-物体交互数据集。该数据集的结构借鉴了BEHAVE数据集的组织方式，每个序列包含颜色图像、人类掩码、物体掩码、深度图像等信息。此外，数据集还存储了SMPL-H参数和简化的物体网格，使得用户能够重新渲染交互图像。

特点

ProciGen数据集的特点在于其规模庞大且多样性丰富，涵盖了人类与多种物体的复杂交互场景。数据集中的图像通过程序化生成，确保了数据的多样性和可控性。此外，数据集还提供了详细的物体姿态信息和相机参数，使得用户能够精确地重建和渲染交互场景。数据集中的物体模型来源于ShapeNet、Objaverse和ABO等知名数据集，进一步提升了数据的质量和多样性。

使用方法

ProciGen数据集的使用方法包括下载数据集、安装依赖项以及运行提供的代码进行数据生成和渲染。用户可以通过下载链接获取数据集，并根据README文件中的指示安装所需的Python环境和依赖库。数据集提供了重新渲染交互图像的脚本，用户可以根据需要调整渲染参数，生成新的交互图像。此外，数据集还提供了详细的物体姿态和相机参数信息，用户可以利用这些信息进行进一步的分析和重建。

背景与挑战

背景概述

ProciGen数据集由马克斯·普朗克信息学研究所的研究团队于2024年创建，旨在解决人类与物体交互（Human-Object Interaction, HOI）领域中的复杂问题。该数据集通过程序化生成的方式，结合了人类、物体和交互数据，生成了超过100万张图像，涵盖了超过2.1万个不同物体的交互场景。ProciGen的核心研究问题在于如何在没有模板的情况下，重建人类与物体之间的交互，从而为计算机视觉和机器人学等领域提供高质量的合成数据。该数据集的发布极大地推动了HOI领域的研究，尤其是在交互建模、动作识别和虚拟现实等应用场景中。

当前挑战

ProciGen数据集在构建过程中面临了多重挑战。首先，如何高效地整合来自不同来源的人类、物体和交互数据，确保生成的数据具有多样性和真实性，是一个关键问题。其次，数据集的生成需要精确的物体姿态估计和人类动作捕捉，这对算法的鲁棒性和计算效率提出了较高要求。此外，数据集的规模庞大，如何有效地存储和管理这些数据，同时确保数据的可访问性和可重复性，也是构建过程中需要解决的技术难题。最后，ProciGen的应用场景广泛，如何确保生成的数据能够满足不同领域的需求，如虚拟现实、机器人学和计算机视觉，也是一个重要的挑战。

常用场景

经典使用场景

ProciGen数据集在计算机视觉领域中被广泛用于人类与物体交互的研究。通过合成超过100万张图像，涵盖了21,000多种不同物体的交互场景，该数据集为研究人员提供了丰富的视觉素材，用于训练和验证各种交互模型。其经典使用场景包括人类动作识别、物体姿态估计以及交互场景的生成与重建。

实际应用

在实际应用中，ProciGen数据集被广泛用于虚拟现实、增强现实以及机器人技术等领域。例如，在虚拟现实中，该数据集可以用于生成逼真的人类与物体交互场景，提升用户体验。在机器人技术中，ProciGen为机器人提供了丰富的交互数据，帮助其更好地理解和模仿人类行为。此外，该数据集还在智能监控和人机交互系统中发挥了重要作用，推动了相关技术的实际落地。

衍生相关工作

ProciGen数据集衍生了许多经典的研究工作。例如，基于该数据集的研究提出了模板自由的重建方法，显著提升了人类与物体交互场景的重建精度。此外，ProciGen还被用于开发新的动作识别算法和物体姿态估计模型，推动了计算机视觉领域的技术创新。相关研究不仅在学术界产生了广泛影响，还为工业界的实际应用提供了技术支撑。