InterAct

InterAct是一个大规模的3D人-物交互(HOI)数据集，旨在推动大规模的生成式模型的发展。该数据集由七个现有数据集整合而成，包含21.81小时的标注3D全身交互数据，并附有语义描述。此外，通过统一的优化框架，该数据集还引入了额外的合成数据，扩展到30.70小时。InterAct涵盖了六个HOI生成任务，并提出了统一的建模和表示方法，实现了最先进的性能。

InterAct is a large-scale 3D human-object interaction (HOI) dataset designed to advance the development of large-scale generative models. This dataset is integrated from seven existing datasets, containing 21.81 hours of annotated 3D full-body interaction data paired with semantic descriptions. Additionally, via a unified optimization framework, it introduces additional synthetic data, extending the total duration to 30.70 hours. InterAct covers six HOI generation tasks, proposes a unified modeling and representation approach, and achieves state-of-the-art performance.

原始信息汇总

InterAct 数据集概述

基本信息

• 名称：InterAct
• 简介：大规模综合性3D人-物交互（HOI）数据集
• 来源：整合自多个数据源
• 总时长：原始数据21.81小时，经处理后扩展至约30小时
• 文本描述：包含34,100条序列级详细文本描述
• 相关论文：CVPR 2025

数据集构成

数据集整合自以下多个子数据集：

• BEHAVE
• GRAB
• INTERCAP
• OMOMO
• NeuralDome
• IMHD
• Chairs

数据内容

数据结构

data ├── [子数据集名称] │ ├── objects │ │ └── [物体名称] │ │ ├── [物体名称].obj # 物体网格 │ │ └── sample_points.npy # 采样的物体点云 │ ├── objects_bps │ │ └── [物体名称] │ │ └── [物体名称].npy # 静态BPS表示 │ └── sequences │ └── [序列ID] │ ├── human.npz # 人体数据 │ ├── object.npz # 物体数据 │ ├── motion.npy # 运动数据 │ ├── joints.npy # 关节点数据 │ ├── markers.npy # 标记点数据 │ ├── action.npy # 动作数据 │ ├── action.txt # 动作描述 │ └── text.txt # 文本描述 └── annotations

数据表示

• 人体表示：SMPL-H统一表示
• 物体表示：标准化网格和点云格式
• 运动表示：包含完整的运动序列数据

获取方式

访问权限

• 非商业用途：需填写申请表格（https://docs.google.com/forms/d/e/1FAIpQLScMCfdd8BXzDBZ3iw0x5zA3KSTlD1F2GTaO8ylDG9Cj1upaPw/viewform?usp=sharing）
• 授权后：获得直接下载链接

原始数据来源

部分数据需从原始来源获取：

• GRAB：https://grab.is.tuebingen.mpg.de/license.html
• BEHAVE：https://virtualhumans.mpi-inf.mpg.de/behave/license.html
• INTERCAP：https://intercap.is.tue.mpg.de/license.html

数据处理

环境要求

• Python 3.8
• PyTorch 2.0.0
• PyTorch3D
• 其他依赖包（详见requirements.txt）

处理流程

1. 原始数据准备：下载并组织各子数据集
2. 数据转换：运行处理脚本转换为标准格式
3. 规范化处理：物体网格规范化和人体数据规范化
4. 特征提取：采样物体关键点和提取运动表示
5. BPS处理：生成训练用的物体BPS表示

工具支持

数据加载

• 提供演示笔记本（data_demo.ipynb）

可视化

• 序列可视化脚本
• 标记点可视化工具

引用信息

主要引用

bibtex @inproceedings{xu2025interact, title = {{InterAct}: Advancing Large-Scale Versatile 3D Human-Object Interaction Generation}, author = {Xu, Sirui and Li, Dongting and Zhang, Yucheng and Xu, Xiyan and Long, Qi and Wang, Ziyin and Lu, Yunzhi and Dong, Shuchang and Jiang, Hezi and Gupta, Akshat and Wang, Yu-Xiong and Gui, Liang-Yan}, booktitle = {CVPR}, year = {2025}, }

子数据集引用

需根据使用的具体子数据集引用相应的原始论文（GRAB、BEHAVE、INTERCAP等）

搜集汇总

数据集介绍

构建方式

InterAct数据集通过整合七个现有公开数据集（包括GRAB、BEHAVE、InterCap等）构建而成，涵盖单人与动态物体的全身交互运动数据。采用统一优化框架对原始动作捕捉数据进行标准化处理，通过梯度下降优化算法修正穿透、悬浮等物理异常，并利用接触不变性原理生成合成数据以扩展规模。所有交互序列均通过人工标注与GPT-4辅助生成细粒度文本描述，形成包含动作类别、语义描述及标准化运动表征的多模态数据集。

特点

该数据集包含30.70小时的运动序列与48,630条文本标注，覆盖217类物体与15种交互动作类型，规模显著超越现有同类数据集。其核心特征包括基于SMPL-H/X模型的标记点（marker）统一运动表征、精细的手部接触修正数据、以及融合基础模型生成的多样化文本描述。数据集提供两种版本：基础版（InterAct）与增强版（InterAct-X），后者通过合成数据扩展并优化了运动真实性，支持六类生成任务的基准评估。

使用方法

InterAct支持文本到交互、动作到交互、物体到人体、人体到物体、交互预测及交互模仿六类任务。使用时需加载标准化标记点坐标、物体运动参数及基础点集（BPS）几何特征，结合动作标签与文本条件输入生成模型。多任务学习框架可联合建模运动与接触关系，通过扩散模型生成物理合理的交互序列。评估时需采用Fréchet Inception Distance（FID）、接触精度等指标，具体实现参考GitHub开源代码与预训练特征编码器。

背景与挑战

背景概述

InterAct数据集由伊利诺伊大学厄巴纳-香槟分校的研究团队于2025年提出，旨在推动三维人-物交互生成领域的发展。该数据集整合了来自GRAB、BEHAVE、InterCap等七个现有数据源的11,350个交互序列，总时长达到30.70小时，覆盖217类物体。其核心研究问题聚焦于解决动态人-物交互建模中数据质量与规模不足的瓶颈，通过统一优化框架提升运动捕捉数据的物理真实性与标注丰富度。该数据集已成为机器人学、计算机动画和视觉计算领域的重要基准，为生成式模型提供了大规模、多模态的训练基础。

当前挑战

InterAct针对的领域挑战包括动态交互中物体自由度复杂性、几何多样性及物理接触建模的精确性要求。构建过程中面临多重挑战：一是原始数据存在穿透、漂浮和手部运动失真等运动捕捉伪影，需通过梯度优化算法进行逐帧校正；二是多源数据异构性问题，涉及不同人体模型（SMPL-H/SMPL-X）、坐标系和标注标准的统一；三是文本标注粒度不足，需结合人工标注与GPT-4生成技术实现描述的一致性增强；四是合成数据生成需保持接触不变性，在运动变异中维持人-物交互的物理合理性。

常用场景

经典使用场景

在三维人体-物体交互生成研究中，InterAct数据集作为大规模基准被广泛用于训练和评估生成模型。该数据集通过整合多源运动捕捉数据并引入统一优化框架，显著提升了动态交互序列的真实性与多样性。研究者通常利用其丰富的文本标注和高质量运动序列，开发能够根据文本描述生成精确三维交互动作的深度学习模型，推动了生成任务在复杂场景下的性能边界。

解决学术问题

InterAct数据集有效解决了三维人体-物体交互生成领域长期存在的数据稀缺与质量问题。其通过接触不变性原理优化运动序列，消除了穿透、漂浮和手部运动失真等常见伪影，为模型学习物理合理的交互动态提供了可靠基础。该数据集支持多任务学习框架，显著提升了生成模型在运动多样性、接触准确性和文本对齐度等方面的性能，为后续研究奠定了坚实的数据基础。

衍生相关工作

基于InterAct数据集，研究者开发了多项创新性工作，如InterDiff利用物理信息扩散模型生成三维交互序列，InterDreamer实现了零样本文本到动态交互的转换。这些工作通过引入多任务学习、接触感知编码和基于标记器的表示方法，显著提升了生成模型的泛化能力和物理合理性。后续研究进一步探索了基于强化学习的交互控制策略，推动了动态交互生成在仿真系统中的实际应用。