CORE4D

CORE4D是一个用于协作对象重新排列的4D人-对象-人交互数据集，包含了真实和合成环境下的多种数据类型，如RGBD视频、RGB视频、场景、相机参数和动作标签。

CORE4D is a 4D human-object-human interaction dataset designed for collaborative object rearrangement, encompassing a variety of data types in both real and synthetic environments, such as RGBD videos, RGB videos, scenes, camera parameters, and action labels.

原始信息汇总

CORE4D: 4D Human-Object-Human Interaction Dataset for Collaborative Object REarrangement

数据集概述

数据组织结构

• CORE4D_Real

  • object_models
  • human_object_motions
  • allocentric_RGBD_videos
  • egocentric_RGB_videos
  • human_object_segmentations
  • camera_parameters
  • action_labels.json

• CORE4D_Synthetic

  • object_models
  • human_object_motions

文件定义

详细文件定义请参考 docs/file_definitions.md。

数据可视化

• 环境设置：Ubuntu 20.04, NVIDIA GeForce RTX 3090 GPU, CUDA 12.2。
• 可视化命令： x cd dataset_utils python visualize_human_object_motion.py --dataset_root <dataset root directory> --object_model_root <object model root directory> --sequence_name <sequence name> --save_path <path to save the visualization result> --device <device for the rendering process>

基准代码

• 人类-物体运动预测：参考 ./benchmarks/motion_forecasting/README.md。
• 交互合成：参考 ./benchmarks/interaction_synthesis/README.md。

许可证

本数据集遵循 CC BY 4.0 许可证。

搜集汇总

数据集介绍

构建方式

CORE4D数据集的构建基于对人类与物体及人类间交互行为的细致捕捉与模拟。该数据集分为两个主要部分：CORE4D_Real和CORE4D_Synthetic。CORE4D_Real通过实际场景中的RGBD视频、人体与物体运动数据、以及相机参数等，真实记录了协作物体重新排列的交互过程。CORE4D_Synthetic则通过计算机生成的方式，提供了大量的人体姿态和物体位置数据，以补充和扩展实际数据。这种结合真实与合成数据的方法，确保了数据集在多样性和真实性之间的平衡。

特点

CORE4D数据集的显著特点在于其四维数据的全面性，涵盖了时间维度上的连续交互行为。数据集不仅包括了人体与物体的运动轨迹，还提供了视角多样的视频数据，如全视角的RGBD视频和第一人称视角的RGB视频。此外，数据集还包含了详细的物体模型和人体姿态数据，以及用于动作识别的标签信息。这些丰富的数据类型和详细的标注，使得CORE4D成为研究人类与物体交互行为的理想资源。

使用方法

使用CORE4D数据集时，用户首先需根据提供的文档设置相应的环境，包括安装必要的软件包和模型。随后，可以通过提供的脚本文件，如visualize_human_object_motion.py，来可视化特定序列的人体与物体交互过程。此外，数据集还提供了基准代码，用于实现如“人体-物体运动预测”和“交互合成”等具体任务。用户可以根据自身研究需求，选择合适的数据子集和工具进行分析和实验。

背景与挑战

背景概述

CORE4D数据集，由Chengwen Zhang、Yun Liu等研究人员于2024年创建，旨在为协作对象重排领域提供一个全面的4D人类-对象-人类交互数据集。该数据集的核心研究问题聚焦于捕捉和分析人类在协作环境中与对象的动态交互，这对于机器人学、人机交互和虚拟现实等领域的研究具有重要意义。通过提供丰富的4D数据，CORE4D数据集为研究人员提供了一个强大的工具，以推动协作对象重排技术的进步。

当前挑战

CORE4D数据集在构建过程中面临多项挑战。首先，捕捉和处理4D数据，特别是人类与对象的复杂交互，需要高精度的传感器和强大的计算能力。其次，数据集的多样性和真实性要求研究人员在模拟和真实环境中进行大量实验，以确保数据的广泛适用性。此外，数据的可视化和分析工具的开发也是一个重要挑战，以帮助研究人员更好地理解和利用数据集中的信息。

常用场景

经典使用场景

CORE4D数据集在协作物体重新排列领域中具有经典应用。该数据集通过提供4D的人-物-人交互信息，使得研究人员能够深入探索和模拟复杂的协作场景。例如，通过分析数据集中的allocentric_RGBD_videos和egocentric_RGB_videos，研究者可以开发和验证新的算法，用于预测和生成人类在协作任务中的动作序列，从而优化物体重新排列的效率和安全性。

解决学术问题

CORE4D数据集解决了协作物体重新排列领域中的多个关键学术问题。首先，它提供了丰富的4D交互数据，填补了现有数据集在多维度交互信息上的空白。其次，通过包含真实和合成数据，CORE4D促进了跨模态学习的研究，推动了从模拟到现实世界的迁移学习技术的发展。此外，数据集中的动作标签和相机参数为动作识别和场景理解提供了宝贵的资源，推动了相关领域的算法创新和性能提升。

衍生相关工作

CORE4D数据集的发布催生了多项相关研究工作。例如，基于数据集的motion forecasting和interaction synthesis基准测试，推动了动作预测和交互合成算法的发展。此外，数据集的多模态特性激发了跨模态学习的新方法，促进了从视觉到动作的深度理解。同时，CORE4D也为人机交互和协作机器人领域的研究提供了新的实验平台，推动了相关技术的实际应用和产业化进程。