Open3DHOI

Open3DHOI是一个基于真实世界图像的野外开放词汇3D人类对象交互数据集。该数据集由上海交通大学创建，包含2500多个经过精细注释的图像，涵盖了133个对象类别和120个交互类别。数据集旨在为3D对象交互的重建和理解提供多样化的语义场景，支持包括但不限于食物、动物等多种对象类别，丰富了现有3D HOI数据集的语义多样性。

Open3DHOI is an open-vocabulary 3D human-object interaction (HOI) dataset built upon real-world in-the-wild images. Developed by Shanghai Jiao Tong University, it contains over 2,500 meticulously annotated images spanning 133 object categories and 120 interaction categories. This dataset is designed to offer diverse semantic scenes for the reconstruction and understanding of 3D human-object interactions, supporting a wide range of object categories including but not limited to food and animals, thereby enriching the semantic diversity of existing 3D HOI datasets.

搜集汇总

数据集介绍

构建方式

Open3DHOI数据集的构建基于从单张图像中重建3D人-物交互（HOI）的流程。研究团队首先从现有的2D HOI数据集中筛选出包含接触交互的图像，随后利用InstantMesh和OSX等工具分别重建物体和人体的3D模型。通过设计自动化的3D交互重建算法，并结合手动标注工具，团队对2.5k+图像进行了精细的3D标注，最终构建了首个开放词汇、真实场景下的3D HOI数据集。

使用方法

Open3DHOI数据集可用于多种3D HOI相关任务，如3D重建、交互理解和动作生成。研究团队还提出了一种基于3D高斯溅射的HOI优化器，能够从单张图像中高效重建人-物之间的空间交互，并学习接触区域。该数据集还可用于训练和评估3D HOI理解模型，例如通过点云理解模型PointLLM进行动作识别，或利用ChatPose生成交互姿态。数据集的开放性和多样性为未来3D HOI研究提供了重要的基准和测试平台。

背景与挑战

背景概述

Open3DHOI数据集由上海交通大学和华东师范大学的研究团队于2025年提出，旨在解决计算机视觉领域中从单张图像重建人-物交互（HOI）的挑战。该数据集首次提供了开放词汇、真实场景下的3D HOI数据，涵盖了133种物体类别和120种交互类型，显著扩展了现有3D HOI数据集的语义多样性。通过从现有的2D HOI数据集中选择图像，并利用先进的3D重建技术，Open3DHOI为未来的3D HOI研究提供了丰富的测试集。该数据集的构建不仅推动了3D HOI重建技术的发展，还为3D动作理解等任务提供了新的研究方向。

当前挑战

Open3DHOI数据集面临的挑战主要体现在两个方面。首先，从单张图像重建3D HOI的复杂性极高，尤其是在真实场景中，物体种类繁多且交互形式多样，现有的方法难以泛化到开放世界的场景中。其次，数据集的构建过程中，研究人员需要克服从2D图像中提取3D信息的困难，尤其是在物体遮挡和复杂交互的情况下，如何准确重建3D物体和人体之间的空间关系是一个巨大的挑战。此外，数据集的标注过程需要大量的人工干预，尤其是在接触区域的精细标注上，如何平衡标注的准确性和效率也是一个亟待解决的问题。

常用场景

经典使用场景

Open3DHOI数据集主要用于从单张图像中重建3D人-物交互（HOI）场景。其经典使用场景包括计算机视觉领域中的3D重建任务，特别是在开放词汇和真实世界场景中的应用。通过该数据集，研究人员可以训练和测试模型，以从单张图像中生成精确的3D人-物交互模型，涵盖广泛的物体类别和交互类型。

解决学术问题

Open3DHOI解决了现有3D HOI数据集在物体多样性和真实世界场景泛化能力上的不足。传统数据集主要局限于室内场景和有限的物体类别，难以应对真实世界中的复杂交互。该数据集通过从2D HOI数据集中重建3D资产，提供了丰富的3D注释，支持开放词汇的3D HOI研究，推动了3D人-物交互理解的发展。

实际应用

Open3DHOI的实际应用场景广泛，涵盖虚拟现实、增强现实、机器人交互和智能监控等领域。例如，在虚拟现实中，该数据集可用于生成逼真的3D人-物交互场景；在机器人领域，可用于训练机器人理解并模仿人类的交互行为；在智能监控中，可用于分析复杂场景中的人-物交互行为。

数据集最近研究

最新研究方向

在计算机视觉领域，人类与物体交互（HOI）的重建是一个关键研究方向，尤其是在开放词汇和真实场景中的应用。Open3DHOI数据集的提出，填补了现有3D HOI数据集在物体多样性和真实场景泛化能力上的不足。该数据集通过从单张图像中重建3D人类、物体及其交互关系，提供了超过2.5k的3D HOI资产，涵盖了133种物体类别和120种交互类型。这一创新不仅推动了3D HOI重建技术的发展，还为未来的研究提供了丰富的测试基准。此外，基于3D高斯泼溅（Gaussian Splatting）的优化器设计，进一步提升了从单目图像中重建空间交互关系的精度，特别是在接触区域的识别上表现出色。Open3DHOI的发布为3D HOI理解、动作识别以及开放世界场景下的应用开辟了新的研究路径，具有重要的学术和实际意义。

相关研究论文

• Reconstructing In-the-Wild Open-Vocabulary Human-Object Interactions

  上海交通大学 · 2025年