qizekun/3D-MM-Vet

3D MM-Vet是一个精心设计的多层次3D问答基准，包含59个独特的3D模型和232个人工编写的问题和答案，内容丰富。此外，提出了3D MM-Vet-C，包含三种变体：单视图、抖动和旋转。单视图变体关注模型从单一视角理解3D对象的能力；抖动变体测试模型对噪声的鲁棒性；旋转变体检查模型从不同视角理解3D场景的能力。这些数据集是3D问答社区的宝贵资源，可用于评估现有模型的性能并开发能更好理解和推理3D对象的新模型。

3D MM-Vet is a carefully crafted multi-level 3D QA benchmark that consists of 59 unique 3D models and 232 human-written questions and answers with rich content. Furthermore, we propose 3D MM-Vet-C, which contains three variants: single-view, jitter, and rotation. The single-view variant focuses on the models ability to understand the 3D object from a single viewpoint; the jitter variant tests the models robustness to noise; the rotation variant examines the models ability to understand the 3D scene from different viewpoints. These datasets are valuable resources for the 3D QA community, useful for evaluating the performance of existing models and developing new models that are better at understanding and reasoning about 3D objects.

原始信息汇总

3D MM-Vet 数据集

概述

• 名称: 3D MM-Vet
• 类型: 多层次3D问答基准
• 包含: 59个独特的3D模型和232个人工编写的问题和答案
• 语言: 英语
• 任务类别: 问答
• 许可证: Apache 2.0

变体

• 3D MM-Vet-C: 包含三个变体，用于测试模型在不同条件下的性能。
  • Single-view: 从单一视角提取前视点云，测试模型对3D对象的理解能力。
  • Jitter: 在点云xyz坐标上添加高斯噪声（均值为0，方差为0.01），测试模型的噪声鲁棒性。
  • Rotation: 在x、y、z轴上随机应用30度的旋转，测试模型从不同视角理解3D场景的能力。

用途

• 用于评估现有模型的性能。
• 用于开发新的模型，以更好地理解和推理3D对象。