BEHAVE

BEHAVE是一个在自然环境中捕捉全身人-物交互的数据集。我们提供多视角RGBD帧和相应的3D SMPL及物体拟合，以及它们之间的注释接触。

BEHAVE is a dataset that captures full-body human-object interactions in natural environments. It provides multi-view RGBD frames along with corresponding 3D SMPL and object fittings, as well as annotated contacts between them.

原始信息汇总

BEHAVE数据集概述

数据集描述

BEHAVE是一个用于自然环境中全身人-物交互的数据集。该数据集提供了多视角的RGBD帧以及相应的3D SMPL和物体拟合，以及它们之间的注释接触。

数据集内容

数据集结构

数据集解压后包含三个主要子文件夹：calibs、objects、sequences，以及split.json文件。

1. calibs: 存储Kinect相机的内参和外参，用于不同位置的校准。
2. objects: 包含20个物体的3D扫描数据。
3. sequences: 提供多视角的RGB-D图像以及SMPL和物体注册信息。
4. split.json: 提供数据集的官方训练和测试分割，基于序列名称。训练集包含231个序列，测试集包含90个序列。

数据集详细结构

calibs

• 内容: Kinect相机的内参和外参。

• 结构:

  DATASET_PATH |--calibs |----Date[xx] |------background |------config |---intrinsics

objects

• 内容: 物体的3D扫描数据。

• 结构:

  DATASET_PATH |--objects |----object_name |------object_name.jpg |------object_name.obj |------object_name.obj.mtl |------object_name_tex.jpg |------object_name_fxxx.ply

sequences

• 内容: 多视角RGB-D图像及SMPL、物体注册信息。

• 结构:

  DATASET_PATH |--sequences |----sequence_name |------info.json |------t*.000 |--------k[0-3].color.jpg |--------k[0-3].depth.png |--------k[0-3].person_mask.jpg |--------k[0-3].obj_rend_mask.jpg |--------k[0-3].color.json |--------k[0-3].mocap.[json|ply] |--------person |----------person.ply |----------fit02 |--------object_name |----------object_name.ply |----------fit01

数据集使用示例

生成接触标签

使用compute_contacts.py脚本生成接触标签。

可视化GT数据

使用behave_demo.py脚本可视化SMPL和物体注册信息。

解析物体姿态参数

使用tools/parse_obj_pose.py脚本解析物体注册参数。

解析SMPL姿态参数

使用tools/smpl_params2mesh.py脚本将SMPL参数转换为网格。

从原始视频生成图像

使用tools/video2images.py脚本从视频生成图像。

从RGBD图像生成点云

使用tools/rgbd2pclouds.py脚本从RGBD图像生成点云。

许可证

请仔细阅读LICENSE文件。

引用

如果使用此数据集，请引用： bibtex @inproceedings{bhatnagar22behave, title={Behave: Dataset and method for tracking human object interactions}, author={Bhatnagar, Bharat Lal and Xie, Xianghui and Petrov, Ilya A and Sminchisescu, Cristian and Theobalt, Christian and Pons-Moll, Gerard}, booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition}, pages={15935--15946}, year={2022} }

搜集汇总

数据集介绍

构建方式

BEHAVE数据集构建于自然环境中，专注于捕捉全身人体与物体的交互行为。通过多视角RGBD帧数据，结合3D SMPL模型和物体拟合，数据集提供了详细的接触标注。数据采集过程中，使用了Kinect相机进行多视角同步拍摄，确保了数据的多样性和真实性。每个序列包含颜色、深度图像，以及SMPL和物体的注册信息，涵盖了丰富的交互场景。

特点

BEHAVE数据集的特点在于其多视角RGBD数据的丰富性，以及精确的3D SMPL和物体拟合。数据集提供了人体与物体之间的接触标注，支持对交互行为的深入分析。此外，数据集包含20种不同物体的3D扫描模型，增强了数据的多样性和实用性。通过分层的文件夹结构，用户可以方便地访问校准信息、物体模型和交互序列，确保了数据的高效管理和使用。

使用方法

BEHAVE数据集的使用方法多样，用户可以通过提供的脚本生成接触标签、可视化标注数据、解析物体和SMPL姿态参数。数据集支持从原始视频生成图像，以及从RGBD图像生成点云。用户可以根据需求选择不同的工具和脚本，进行数据分析和模型训练。通过详细的文档和示例代码，用户可以快速上手并充分利用数据集的功能，进行人体与物体交互行为的研究。

背景与挑战

背景概述

BEHAVE数据集由马克斯·普朗克信息学研究所的研究团队于2022年发布，旨在为自然环境中的人体与物体交互提供全面的多视角RGBD数据。该数据集不仅包含丰富的RGBD帧，还提供了3D SMPL模型与物体拟合的对应关系，以及它们之间的接触标注。BEHAVE的发布填补了人体与物体交互研究领域的数据空白，为计算机视觉、机器人学和虚拟现实等领域的算法开发与评估提供了重要支持。该数据集的核心研究问题在于如何精确捕捉和理解人体与物体在复杂环境中的交互行为，其影响力已延伸至动作识别、姿态估计和场景理解等多个研究方向。

当前挑战

BEHAVE数据集在解决人体与物体交互问题时面临多重挑战。首先，自然环境中的人体动作与物体交互具有高度复杂性和多样性，如何准确捕捉并标注这些交互行为是一个技术难题。其次，数据集的构建过程中，多视角RGBD数据的同步与对齐、3D模型的精确拟合以及接触标注的生成均需要高精度的算法支持，这对数据处理流程提出了极高的要求。此外，由于环境光照、物体材质和人体姿态的多样性，数据采集与标注过程中不可避免地引入了噪声，这对后续算法的鲁棒性提出了严峻考验。这些挑战不仅体现在数据集的构建过程中，也深刻影响了相关领域的研究进展。

常用场景

经典使用场景

BEHAVE数据集在计算机视觉领域中被广泛应用于研究人体与物体的交互行为。通过提供多视角的RGBD图像、3D SMPL模型和物体拟合数据，该数据集为研究者提供了丰富的视觉和几何信息，支持从多角度分析人体与物体的接触和运动模式。这一数据集特别适用于开发和分析人体姿态估计、物体识别以及交互行为理解的算法。

实际应用

在实际应用中，BEHAVE数据集被广泛用于虚拟现实、增强现实以及机器人技术等领域。例如，在虚拟现实中，该数据集可以用于生成逼真的人体与物体交互场景，提升用户体验。在机器人技术中，该数据集可以帮助机器人更好地理解和模仿人类的交互行为，从而提高其在实际环境中的操作能力和适应性。

衍生相关工作

BEHAVE数据集衍生了许多相关的研究工作，特别是在人体姿态估计和物体识别领域。例如，基于该数据集的研究提出了新的算法来改进人体姿态估计的精度和鲁棒性。此外，该数据集还被用于开发新的物体识别模型，这些模型能够更准确地识别和定位与人体交互的物体。这些研究工作不仅推动了相关领域的技术进步，还为未来的研究提供了新的方向和思路。