SQA3D

该数据集是迄今为止最大的、带有人类标注的问题回答对的地面3D场景理解数据集。它包含了11723个训练样本、1550个验证样本以及1652个测试样本，跨越了不同的数据集分割。该数据集的规模达到了20.4千个描述，涵盖了68千个独特情境。其任务聚焦于地面3D场景理解和问题回答。This is the largest human-annotated grounded 3D scene understanding dataset with question-answer pairs to date. It comprises 11,723 training samples, 1,550 validation samples, and 1,652 test samples across diverse dataset splits. The dataset encompasses 20.4 thousand descriptions and covers 68 thousand unique scenarios. Its tasks focus on grounded 3D scene understanding and question answering.

搜集汇总

背景与挑战

背景概述

SQA3D是一个用于评估具身智能体在3D场景中情境理解和推理能力的数据集，基于650个ScanNet场景构建，包含6.8k独特情境、20.4k描述和33.4k多样化推理问题，问题涵盖空间关系、常识、导航和多跳推理等维度。该数据集对当前多模态和3D推理模型构成显著挑战，最佳模型准确率仅47.20%，而人类可达90.06%，旨在推动具身AI研究的发展。