InterAct

我们介绍了InterAct，一个全面的大规模3D人机交互（HOI）数据集，最初包含来自不同来源的21.81小时HOI数据，经过精心修正接触伪影并通过多样化的运动模式进行增强，将总时长延长至约30小时。它包括34.1K序列级别的详细文本描述。

We introduce InterAct, a comprehensive large-scale 3D human-object interaction (HOI) dataset. Initially containing 21.81 hours of HOI data from diverse sources, it has been meticulously refined to fix contact artifacts and augmented with diverse motion patterns, extending its total duration to approximately 30 hours. It also includes 34.1K detailed sequence-level textual descriptions.

原始信息汇总

InterAct 数据集概述

数据集基本信息

• 名称: InterAct
• 类型: 3D人机交互（HOI）数据集
• 数据规模:
  • 原始数据时长: 21.81小时
  • 增强后总时长: 约30小时
  • 文本描述: 34.1K条序列级详细描述
• 来源: 整合自多个公开数据集（GRAB、BEHAVE、INTERCAP等）
• 发布机构: 伊利诺伊大学厄巴纳-香槟分校
• 发布时间: 2025年4月20日
• 相关论文: CVPR 2025

数据集内容

• 数据类型:
  • 3D人体动作序列
  • 物体运动序列
  • 物体网格模型
  • 详细文本描述
• 数据格式:
  • 人体数据: .npz, .npy
  • 物体数据: .obj, .ply
  • 文本描述: .txt

数据获取与处理

获取方式

1. 直接下载:
   • 填写授权表格申请非商业访问权限
   • 授权后获取下载链接
2. 原始数据处理:
   • 需从原始数据集网站下载GRAB、BEHAVE、INTERCAP等数据
   • 提供处理代码转换为标准格式

数据处理流程

1. 环境准备:
   • 需安装SMPL+H、SMPLX、DMPLs模型
   • 提供conda环境配置文件和安装指南
2. 数据处理步骤:
   • 运行各子数据集处理脚本
   • 物体网格规范化
   • 序列分割和文本生成
   • 人体数据规范化
   • 物体关键点采样
   • 运动表示提取
   • 物体BPS处理

数据组织结构

data ├── neuraldome ├── imhd ├── chairs ├── annotations ├── behave ├── omomo ├── intercap └── grab

可视化工具

• 提供可视化脚本支持各子数据集展示
• 支持标记点可视化

引用信息

bibtex @inproceedings{xu2025interact, title = {{InterAct}: Advancing Large-Scale Versatile 3D Human-Object Interaction Generation}, author = {Xu, Sirui and Li, Dongting and Zhang, Yucheng and Xu, Xiyan and Long, Qi and Wang, Ziyin and Lu, Yunzhi and Dong, Shuchang and Jiang, Hezi and Gupta, Akshat and Wang, Yu-Xiong and Gui, Liang-Yan}, booktitle = {CVPR}, year = {2025}, }

注意事项

• 数据集使用需遵守各子数据集的原始许可协议
• 部分数据需单独申请授权
• 非商业用途限制

搜集汇总

数据集介绍

构建方式

InterAct数据集通过整合来自GRAB、BEHAVE、INTERCAP等多个权威来源的21.81小时原始交互数据，采用多阶段精细化处理流程构建。研究团队首先对接触伪影进行专业校正，随后通过运动模式增强技术将数据扩展至30小时，并辅以34.1K条序列级文本描述。数据标准化过程中，采用SMPL+H等参数化人体模型统一表示，通过BPS编码实现物体表征的规范化，最终形成包含人体运动参数、物体网格及语义标注的多模态数据体系。

特点

该数据集在三维人机交互领域具有显著优势，其30小时的高精度动作捕捉数据覆盖丰富的日常交互场景，包含超过3万条细粒度文本描述。数据采用层次化存储结构，每个交互序列均包含标准化的人体运动参数、物体点云及语义标注，支持从原始网格到抽象运动表征的多维度研究。特别值得注意的是，数据集通过接触校正和运动增强技术，有效解决了现有HOI数据中常见的物理不合理性问题，为生成式任务提供了更可靠的学习素材。

使用方法

使用InterAct需遵循严格的学术授权流程，用户需提交非商业使用申请获取数据访问权限。数据集支持两种使用模式：对于可直接分发的数据，提供标准化npz格式的预处理文件；受限数据则需用户自行下载原始数据后，通过提供的处理脚本转换为统一格式。配套的Python工具链包含数据加载、可视化及基准测试模块，用户可通过Jupyter Notebook交互式探索数据，或调用专用脚本生成运动表征。研究推荐在配置PyTorch3D和SMPLX模型的环境下运行，确保完整复现数据处理流程。

背景与挑战

背景概述

InterAct数据集由伊利诺伊大学厄巴纳-香槟分校的研究团队于2025年推出，旨在推动大规模多样化3D人机交互生成领域的研究。该数据集整合了来自GRAB、BEHAVE、INTERCAP等多个权威数据源的21.81小时原始交互数据，经过接触伪影校正和运动模式增强后扩展至30小时，包含34.1K条序列级文本描述。作为CVPR 2025的成果，其创新性体现在首次实现了跨场景、跨物体的标准化三维动作表征，为人机交互的生成模型训练提供了迄今为止最全面的多模态基准。

当前挑战

该数据集致力于解决三维人机交互生成中动作-物体耦合建模的复杂性问题，其核心挑战包括：多源异构数据融合时存在的时空对齐偏差，接触物理合理性验证的量化标准缺失，以及文本描述与运动序列的细粒度匹配难题。在构建过程中，研究团队需克服原始数据许可证差异导致的格式不兼容，处理不同捕捉系统产生的骨架参数化差异，并通过人工标注与算法校验相结合的方式确保10万帧级接触点的生物力学合理性。

常用场景

经典使用场景

在计算机视觉与图形学领域，InterAct数据集为大规模3D人机交互生成研究提供了重要基准。该数据集通过整合多源异构数据并修正接触伪影，构建了包含30小时运动序列和3.4万条文本描述的丰富资源，特别适用于基于物理约束的交互动作生成任务。研究者可借助其标准化的人体参数化模型与物体点云表示，开发跨场景的泛化型生成算法。

解决学术问题

该数据集有效解决了人机交互研究中数据规模有限、动作多样性不足的瓶颈问题。通过融合GRAB、BEHAVE等七个子数据集，提供了涵盖抓取、操纵等复杂交互模式的统一评估框架。其标注的接触区域与运动轨迹为理解物理合理性约束提供了量化依据，推动了基于扩散模型和强化学习的交互生成方法发展。

衍生相关工作

基于InterAct的基准测试催生了多项突破性研究，如结合神经辐射场的交互场景重建（NeuralDome）、惯性感知的单目捕捉系统（I'M HOI）。数据集构建方法启发了后续HOI-V6等跨模态数据集设计，其标准化处理流程已成为领域内数据融合的参考范式。