Inter3D

Inter3D数据集是由深圳大学和广东人工智能与数字经济实验室(深圳)等机构收集的，包含日常生活中常见的交互式物体，如汽车、展示柜、抽屉和家具。这些物体被拍摄成视频，并从中提取出代表物体标准状态和每个独立状态的图像。数据集旨在为交互式三维物体重建的研究提供一个基准，特别是针对新颖状态合成任务，即训练时只观察物体的标准状态和单个部分状态，而组合状态则在测试时未见。The Inter3D Dataset was collected by Shenzhen University, Guangdong Laboratory of Artificial Intelligence and Digital Economy (Shenzhen), and other institutions. It contains interactive objects commonly seen in daily life, such as cars, display cabinets, drawers, and furniture. These objects are filmed into videos, from which images representing the standard state of the object and the state of each individual component are extracted. The dataset aims to provide a benchmark for research on interactive 3D object reconstruction, particularly for the novel state synthesis task, where during training, only the standard state and individual component states of the object are observed, while combined states are unseen during testing.

搜集汇总

数据集介绍

构建方式

Inter3D数据集的构建方式独具匠心，旨在推动人机交互式三维物体重建的研究。研究人员收集了日常生活中常见的具有多个可移动部件的交互式物体，包括汽车、陈列柜、抽屉和家具等。这些物体被安排在递增的复杂性顺序中，以涵盖不同场景和挑战。数据集的收集过程采用了手持、正向面对的移动拍摄方式，并利用SAM2技术对可移动部件进行分割。对于每个物体，通过均匀采样提取了60张图像，以代表标准状态和每个单独状态。相机位姿的提取使用了COLMAP技术，确保了后续学习的精确对齐。

使用方法

Inter3D数据集的使用方法包括三个关键阶段：标准建模、可移动部件分解和任意组合合成。首先，使用InstantNGP技术对物体的标准状态进行重建。然后，通过空间差异张量对每个可移动部件进行分解，以学习其单独状态。最后，通过选择具有最大密度差异的样本点特征，合成任意组合状态。此外，数据集还引入了相互状态正则化机制，以减轻由于轨迹不一致性引起的渲染质量下降。为了提高训练效率，数据集还探索了两种体素网格采样策略。用户可以根据计算资源和偏好选择最适合的策略。

背景与挑战

背景概述

Inter3D数据集是在2025年由深圳大学、广东人工智能与数字经济实验室以及上海人工智能实验室的研究团队共同创建的。该数据集旨在解决隐式3D重建方法在处理具有可移动部件的人机交互对象时的局限性。传统方法在处理此类对象时，需要为每个离散状态训练独立的模型，导致计算和内存资源消耗巨大。Inter3D数据集通过引入一种新的评估流程，仅观察单个部件状态进行训练，而将部件组合状态保留用于评估，从而有效地解决了这一挑战。此外，Inter3D还提出了一种基于空间差异张量的强基线方法，能够高效地建模对象的所有状态。该数据集的创建为虚拟现实、游戏和嵌入式AI等领域的应用提供了新的可能性。

当前挑战

Inter3D数据集面临的挑战主要包括：1)人机交互对象的建模挑战，这些对象通常具有多个可移动部件，每个部件的不同状态都需要被准确建模；2)构建过程中的挑战，例如如何有效地收集和处理数据，以及如何设计合适的评估流程以确保模型的泛化能力。此外，由于人机交互对象的状态组合数量随可移动部件数量的增加呈指数级增长，因此在训练过程中如何保证模型的空间密度一致性也是一个重要的挑战。Inter3D数据集通过引入空间差异张量、多分辨率哈希编码和相互状态正则化机制等方法，有效地解决了上述挑战，并提出了两种占用网格采样策略以优化训练效率。

常用场景

经典使用场景

Inter3D数据集在3D重建领域中的经典应用场景是合成交互式对象的新状态。该数据集通过提供交互式对象的常见实例，如汽车、陈列柜、抽屉和家具，以及一个新的评估流程，其中在训练期间仅观察单个部件状态，而部件组合状态则保留用于评估，从而为研究提供了基础。

解决学术问题

Inter3D数据集解决了交互式对象3D重建中常见的学术研究问题，即如何高效地建模具有n个可移动部件的交互式对象。现有的方法需要为每个状态训练2n个独立的3D模型，这导致计算和内存开销过大。Inter3D通过引入空间差异张量，结合多分辨率哈希编码，能够有效地对交互式对象的全部状态进行建模，从而解决了这一难题。

实际应用

Inter3D数据集在实际应用场景中具有广泛的应用前景。例如，在虚拟现实、游戏和嵌入式人工智能等领域，交互式对象的3D重建对于创建逼真的虚拟环境和游戏场景至关重要。Inter3D数据集通过提供高效和精确的3D重建方法，为这些应用提供了重要的支持。

数据集最近研究

最新研究方向

Inter3D数据集在3D对象重建领域的研究方向主要集中在人机交互3D对象的全新状态合成。该数据集提供了一个包含日常互动对象的新基准，并引入了一个新的评估流程，即在训练过程中仅观察单个部分的状态，而部分组合状态则保留在评估过程中。此外，Inter3D还提出了一种强大的基线方法，该方法利用空间差异张量来高效地建模对象的所有状态，并减轻了相机轨迹在训练状态之间的不切实际约束。该研究还探索了两种占用网格采样策略，以促进训练效率。这些研究为3D对象重建领域提供了新的研究方向，并有望推动虚拟现实、游戏和嵌入式人工智能等领域的发展。

相关研究论文

• Inter3D: A Benchmark and Strong Baseline for Human-Interactive 3D Object Reconstruction

  深圳大学, 广东人工智能与数字经济实验室(深圳), 上海人工智能实验室 · 2025年