MSheng-Lee/M3DBench

M3DBench引入了一个全面的3D指令跟随数据集，支持交错多模态提示，涵盖现实世界3D环境中的多种基本能力。此外，M3DBench还提供了一个新的基准，用于评估大型模型在3D视觉中心任务中的表现。数据集包括两个主要组件：3D数据和语言注释。3D数据主要来源于ScanNet和Matterport3D两个数据集，而语言注释则根据任务类型组织成不同的文件。

M3DBench introduces a comprehensive 3D instruction-following dataset with support for interleaved multi-modal prompts, covering a variety of fundamental abilities in real-world 3D environments. Furthermore, M3DBench provides a new benchmark to assess large models across 3D vision-centric tasks. The dataset primarily consists of two components: 3D data and language annotations. The 3D data is sourced from ScanNet and Matterport3D, while the language annotations are organized into three folders based on task type. The dataset also designs four types of visual prompts, including users click and region prompts, image prompts, and 3D shape prompts.

原始信息汇总

M3DBench 数据集概述

数据集简介

M3DBench 是一个全面的 3D 指令遵循数据集，支持交错的多种模态提示，涵盖现实世界 3D 环境中的多种基本能力。此外，M3DBench 提供了一个新的基准，用于评估大型模型在以 3D 视觉为中心的任务上的表现。

数据准备

M3DBench 包含两个主要部分：3D 数据和语言注释。

步骤 1：下载和准备 3D 数据

1. ScanNet 数据准备

   • 按照 这里 的说明下载 ScanNet 数据集。
   • 将 SCANNET_DIR 更改为 scans 文件夹并运行以下命令： bash cd data/scannet/ python batch_load_scannet_data.py

2. Matterport3D 数据准备

   • 按照 Matterport3D 网页 的说明运行下载脚本 (download_mp.py)： bash python download_mp.py --task habitat -o data/scene_datasets/mp3d/

步骤 2：准备语言注释

语言注释根据任务类型组织成三个文件夹。此外，M3DBench 设计了四种视觉提示类型：用户的点击和区域提示存储在 JSON 文件中，而图像提示和 3D 形状提示存储为压缩存档。

数据文件名	数据文件名
object_detection.json	visual_grounding.json
dense_caption.json	visual_question_answering.json
embodied_question_answering.json	multi_region_reasoning.json
scene_description.json	multi_round_dialogue.json
embodied_planning.json	navigation.json
images.zip	shapes.zip