r3d-bench
收藏资源简介：
R3D-Bench是一个用于定量3D空间推理的基准测试数据集，基于自然第一人称RGB-D视频（来自Aria Digital Twin序列）。数据集包含3,033个问答标注，覆盖57个ADT序列，所有数据仅用于评估，无训练集，全部属于test分割。数据被组织为四个配置：默认配置qa_annotations提供每行一个问题，包括问题文本、真实答案、问题类型、序列ID、空间/时间描述以及嵌套的引用对象列表；segmentations提供每帧的SAM3掩码（RLE格式），用于跟踪场景中的相关对象，支持评估；meshes提供每个对象的SAM3D重建网格，包含GLB几何嵌入（glb字节），可用于R3D方法评估；gt_bboxes为可选的ADT真实定向边界框轨迹，主要用于调试目的。数据集适用于3D空间推理、视觉问答（VQA）、场景理解、对象跟踪和3D重建等任务。注意：RGB-D视频帧未在此分发，需从Project Aria ADT数据集单独下载；使用受ADT许可条款约束（基于CC-BY-NC-4.0许可证派生）。
R3D-Bench is a benchmark for quantitative 3D spatial reasoning based on natural first-person RGB-D videos (from Aria Digital Twin sequences). The dataset contains 3,033 question-answer annotations covering 57 ADT sequences, all data is for evaluation only with no training set, entirely in the test split. Data is organized into four configurations: the default qa_annotations provides per-row questions including question text, ground truth answer, question type, sequence ID, spatial/temporal description, and a nested list of referenced objects; segmentations provides SAM3 masks (RLE format) per frame for tracking relevant objects in scenes to support evaluation; meshes provides SAM3D reconstructed meshes per object with GLB geometry embeddings (glb bytes) for R3D method evaluation; gt_bboxes offers optional ADT ground truth oriented bounding box trajectories mainly for debugging. The dataset is suitable for tasks like 3D spatial reasoning, visual question answering (VQA), scene understanding, object tracking, and 3D reconstruction. Note: RGB-D video frames are not distributed here and must be downloaded separately from the Project Aria ADT dataset; usage is subject to ADT license terms (derived from CC-BY-NC-4.0 license).
数据集概述
R3D-Bench 是一个用于量化三维空间推理的基准数据集，专注于从自然的第一人称视角 RGB-D 视频中进行评估。该数据集不包含训练集，所有数据仅用于测试。
- 来源：基于 Aria Digital Twin (ADT) 数据集。
- 许可协议：CC-BY-NC-4.0，使用需遵守 ADT 的许可条款。
- 规模：包含 57 个 ADT 视频序列，共计 3,033 个问答标注。
数据集配置
数据集提供四种配置文件，均仅包含 test 分割：
-
qa_annotations (默认配置)：
- 内容：每行对应一个问题。字段包括
question_text(问题文本)、gt_answer(标准答案)、question_type(问题类型)、sequence_id(序列ID)、空间/时间描述以及嵌套的referenced_objects列表。 - 用途：作为基准评估的核心数据。
- 内容：每行对应一个问题。字段包括
-
segmentations：
- 内容：按帧存储的 SAM3 掩码 (RLE 格式)，用于追踪场景中的相关物体。
- 用途：大多数评估方法的辅助数据，为可选配置。
-
meshes：
- 内容：每个物体的 SAM3D 重建网格，以 GLB 格式嵌入 (
glb字节)。 - 用途：用于评估 R3D 方法论，也可用于其他方法，为可选配置。
- 内容：每个物体的 SAM3D 重建网格，以 GLB 格式嵌入 (
-
gt_bboxes：
- 内容：来自 ADT 的 GT 有向边界框轨迹，是标准答案的原始依据。
- 用途：主要用于调试，评估时不使用，为可选配置。
数据来源与使用
- 源视频：RGB-D 帧数据未包含在数据集中。需从项目 Aria 网站 (https://www.projectaria.com/datasets/adt/) 单独获取 ADT 序列，并按照 R3D 代码仓库 (https://github.com/facebookresearch/r3d) 中的说明提取帧。
- 使用方式：可通过 Hugging Face
datasets库加载。示例：load_dataset("facebook/r3d-bench", "qa_annotations", split="test")。
