CORE4D

Name: CORE4D
Creator: 清华大学交叉信息研究院, 北京邮电大学, 上海人工智能实验室, 上海期智研究院
Published: 2024-06-28 01:32:18
License: 暂无描述

arXiv2024-06-28 更新2024-06-29 收录

下载链接：

https://github.com/leolyliu/CORE4D-Instructions

下载链接

链接失效反馈

官方服务：

资源简介：

CORE4D是由清华大学交叉信息研究院等机构创建的大规模4D人-物-人交互数据集，专注于协作物体重新排列。数据集包含1K真实世界运动序列和10K合成协作序列，涵盖3K多样化的物体几何形状。创建过程中结合了真实数据捕捉和合成重定向技术，旨在解决VR/AR和机器人交互中的人-物交互问题。

CORE4D is a large-scale 4D human-object-human interaction dataset created by institutions including Tsinghua University’s Institute of Interdisciplinary Information Studies and other relevant organizations, focusing on collaborative object rearrangement. The dataset contains 1,000 real-world motion sequences and 10,000 synthetic collaborative sequences, covering 3,000 diverse object geometries. It combines real data capture and synthetic retargeting techniques during development, aiming to address human-object interaction challenges in VR/AR and robotic interactions.

提供机构：

清华大学交叉信息研究院, 北京邮电大学, 上海人工智能实验室, 上海期智研究院

创建时间：

2024-06-28

原始信息汇总

CORE4D: A 4D Human-Object-Human Interaction Dataset for Collaborative Object REarrangement

数据组织

数据集的组织结构如下：

文件定义

详细的文件定义请参考 docs/file_definitions.md。

数据可视化

环境设置

代码测试环境为 Ubuntu 20.04，配备 NVIDIA GeForce RTX 3090 GPU，驱动版本为 535.129.03，CUDA 版本为 12.2。

设置环境的命令如下：

x conda create -n core4d python=3.9 conda activate core4d <install PyTorch >= 1.7.1> <install PyTorch3D >= 0.6.1> cd dataset_utils pip install -r requirements.txt

可视化人体-物体运动

可视化人体-物体运动的命令如下：

x cd dataset_utils python visualize_human_object_motion.py --dataset_root <dataset root directory> --object_model_root <object model root directory> --sequence_name <sequence name> --save_path <path to save the visualization result> --device <device for the rendering process>

例如，选择以下数据序列：

x python visualize_human_object_motion.py --dataset_root <dataset root directory> --object_model_root <object model root directory> --sequence_name "20231002/004" --save_path "./example.gif" --device "cuda:0"

可视化结果示例：

基准代码

人体-物体运动预测

实现基准 "human-object motion forecasting" 请参考 ./benchmarks/motion_forecasting/README.md。

交互合成

实现基准 "interaction synthesis" 请参考 ./benchmarks/interaction_synthesis/README.md。

许可证

本工作采用 CC BY 4.0 许可证。

引用

如果本工作对您有帮助，请引用：

x @article{zhang2024core4d, title={CORE4D: A 4D Human-Object-Human Interaction Dataset for Collaborative Object REarrangement}, author={Zhang, Chengwen and Liu, Yun and Xing, Ruofan and Tang, Bingda and Yi, Li}, journal={arXiv preprint arXiv:2406.19353}, year={2024} }

搜集汇总

数据集介绍

构建方式

CORE4D数据集的构建采用了混合数据采集方法，结合了真实世界的动作捕捉和合成的协作重新定位策略。首先，通过配备惯性-光学动作捕捉系统、四个 allocentric RGB-D 摄像头和一个用于 egocentric 感知的个人佩戴摄像头，捕捉了 1000 个真实世界的人-物-人运动序列。然后，利用迭代协作重新定位策略，将真实世界的数据重新定位到各种新颖的对象上，从而丰富了数据集。这种方法使得数据集涵盖了 11K 个协作序列，涉及 3K 个真实和虚拟对象形状。

使用方法

CORE4D数据集的使用方法如下：首先，根据研究需要选择相应的数据集（CORE4D-Real 或 CORE4D-Synthetic）。然后，使用数据集中的运动序列、视频和 3D 场景，结合标注信息（如动作标签、人体网格和 2D 分割），进行人-物交互的研究。例如，可以使用数据集进行人-物运动预测和交互合成的基准测试，以评估现有的人-物交互生成方法的有效性。

背景与挑战

背景概述

CORE4D数据集是针对协作式物体重新排列而创建的4D人体-物体-人体交互数据集，旨在填补VR/AR和人类-机器人交互领域中缺乏相关数据集的空白。该数据集由清华大学等多家研究机构的学者共同创建，包括张成文、刘云、邢若帆等人。数据集的核心研究问题是如何理解和模拟多个人类协作重新排列家庭物品的行为。CORE4D数据集对相关领域的影响力体现在其提供了一个大规模、丰富注释的数据集，为研究多个人类协作行为提供了可能，并有望在VR/AR、人机交互等领域得到广泛应用。

当前挑战

CORE4D数据集面临的挑战主要包括：1) 所解决的领域问题的挑战：如何通过数据集研究和模拟人类协作式物体重新排列的行为，以及如何利用这些数据来提高VR/AR和人类-机器人交互系统的性能。2) 构建过程中所遇到的挑战：如何高效地获取大规模的人体-物体-人体交互数据，以及如何通过合成数据增强算法来扩大数据集的规模。

常用场景

经典使用场景

CORE4D数据集被广泛应用于理解人类如何在虚拟现实/增强现实(VR/AR)和人与机器人交互中协作重新排列家居物品。该数据集包含了各种对象几何形状、协作模式和3D场景的多样化组合，为研究人员提供了丰富的运动模式，以支持生成人类与对象交互的任务，如人类对象运动预测和交互合成。

解决学术问题

CORE4D数据集解决了现有数据集在理解人类协作行为方面的不足。通过提供大规模、丰富注释的数据集，CORE4D填补了相关研究领域的空白，支持了可推广的交互理解，并提高了现有人类对象交互生成方法的准确性。该数据集还揭示了现有方法在建模人类行为、增强运动自然性以及适应新对象几何形状方面的挑战。

实际应用

CORE4D数据集在实际应用中具有广泛的应用前景，如VR/AR中的交互设计、机器人操纵和协作。通过提供大量的人类与对象交互数据，该数据集有助于开发更自然、更准确的人机交互系统，以及更智能的机器人协作系统。此外，CORE4D数据集还可用于训练深度学习模型，以提高动作识别、运动预测和交互合成的准确性。

数据集最近研究