PACE
收藏资源简介：
PACE是一个大规模的物体姿态数据集，专注于复杂环境中的姿态标注。该数据集由上海交通大学和斯坦福大学合作创建，包含54,945帧视频，涵盖300个视频片段，涉及576个物体，分为44个类别。数据集中的物体包括刚性和可动部件，场景复杂多样，包含多种遮挡类型。创建过程中，研究团队开发了一种创新的标注系统，利用校准的三摄像头设置来高效标注真实世界数据。PACE数据集旨在推动复杂场景中姿态估计方法的发展和评估，特别是在存在遮挡和杂乱环境中的应用。
PACE is a large-scale object pose dataset focused on pose annotation in complex environments. This dataset was collaboratively created by Shanghai Jiao Tong University and Stanford University, containing 54,945 video frames spanning 300 video clips, involving 576 objects categorized into 44 classes. The objects in the dataset include both rigid and movable components, with complex and diverse scenes covering various types of occlusions. During its development, the research team developed an innovative annotation system that utilizes a calibrated three-camera setup to efficiently annotate real-world data. The PACE dataset aims to promote the development and evaluation of pose estimation methods in complex scenarios, especially for applications with occlusions and cluttered environments.
PACE 数据集概述
数据集简介
PACE（Pose Annotations in Cluttered Environments）是一个大规模的基准数据集，旨在推动复杂环境中姿态估计方法的发展和评估。该数据集包含55K帧，共258K个标注，涵盖300个视频中的238个对象，涉及43个类别，包括刚性和铰接物品。此外，PACE还提供了PACESim，包含100K张逼真的模拟帧和2.4M个标注。
数据集结构
数据集主要遵循BOP格式，结构如下：
camera_pbr.json models(eval|nocs)? ├─ models_info.json ├─ (artic_info.json)? ├─ obj${OBJ_ID}.ply model_splits ├─ category | ├─ ${category}(train|val|test).txt | ├─ (train|val|test).txt ├─ instance | ├─ (train|val|test).txt (train(_pbr_cat|_pbr_inst)|val(_inst|_pbr_cat)|test) ├─ ${SCENE_ID} │ ├─ scene_camera.json │ ├─ scene_gt.json │ ├─ scene_gt_info.json │ ├─ scene_gt_coco_det_modal(_partcat|_inst)?.json │ ├─ depth │ ├─ mask │ ├─ mask_visib │ ├─ rgb | ├─ (rgb_nocs)?
数据集内容
camera_pbr.json：PBR渲染的相机参数。models(_eval|_nocs)?：3D对象模型。models_info.json：网格的元信息，包括直径、边界和比例。artic_info.json：铰接对象的部分信息。obj_${OBJ_ID}.ply：PLY网格文件。
model_splits：用于训练/验证/测试的模型ID。train(_pbr_cat|_pbr_inst)|val(_inst|_pbr_cat)|test：不同级别的训练和测试数据。${SCENE_ID}：每个场景的文件夹。scene_camera.json：相机参数。scene_gt.json：地面真实标注。scene_gt_info.json：地面真实姿态的元信息。scene_gt_coco_det_modal(_partcat|_inst)?.json：COCO格式的2D边界框和实例分割标签。rgb：彩色图像。rgb_nocs：对象的归一化坐标。depth：深度图像。mask：对象的掩码。mask_visib：对象可见部分的掩码。
数据集下载
数据集可在HuggingFace下载。
数据集可视化
提供了一个可视化脚本visualizer.ipynb，用于可视化地面真实姿态标注及其渲染的3D模型。
基准评估
评估代码已发布，具体步骤详见README文件。
标注工具
提供了标注工具的源代码，包括对象对齐、姿态标注等。
许可证
数据集内容遵循MIT许可证，部分模型遵循CC BY许可证。
引用
@misc{you2023pace, title={PACE: Pose Annotations in Cluttered Environments}, author={You, Yang and Xiong, Kai and Yang, Zhening and Huang, Zhengxiang and Zhou, Junwei and Shi, Ruoxi and Fang, Zhou and Harley, Adam W. and Guibas, Leonidas and Lu, Cewu}, booktitle={European Conference on Computer Vision}, year={2024}, organization={Springer} }
- 1PACE: A Large-Scale Dataset with Pose Annotations in Cluttered Environments上海交通大学 · 2024年
