Awesome-3D-Dataset

这是一个包含近期3D数据集的仓库，涵盖了真实数据和合成数据，包括物体和场景的数据集。数据集的详细信息包括来源、规模、模态和任务等。

This is a repository of recent 3D datasets, covering both real-world and synthetic data for objects and scenes. Detailed information of these datasets includes their sources, scales, modalities, supported tasks, and more.

原始信息汇总

Awesome-3D-Dataset

内容概述

该仓库包含多个3D数据集，涵盖真实数据、合成数据、真实与合成混合数据以及生成模型或工具。

数据集分类

真实数据

对象

• ULIP-2: Towards Scalable Multimodal Pre-training for 3D Understanding

  • 来源：Objaverse, ShapeNet
  • 数据规模：800K真实世界3D形状，52.5K 3D形状（55个标注类别）
  • 模态：3D点云、图像、语言
  • 任务：零样本3D分类、标准3D分类（微调）、3D描述生成

• 3DCoMPaT Challenge

  • 来源：3DCoMPaT dataset++
  • 模态：3D对象、3D渲染
  • 任务：识别和定位3D对象上的材料组合

• LASO: Language-guided Affordance Segmentation on 3D Object

  • 来源：3D-AffordanceNet
  • 数据规模：19,751点-问题对，覆盖8434个对象形状和870个专家设计问题
  • 模态：点云、文本
  • 任务：语言引导的3D对象功能分割

• OpenShape: Scaling Up 3D Shape Representation Towards Open-World Understanding

  • 来源：ShapeNetCore, 3D-FUTURE, ABO, Objaverse
  • 数据规模：876K
  • 模态：文本-图像-3D点云
  • 任务：点云描述生成、点云条件图像生成

• RealImpact: A Dataset of Impact Sound Fields for Real Objects

  • 来源：Raw
  • 数据规模：150,000次撞击声音记录，50个日常对象，5个不同的撞击位置
  • 模态：撞击位置、麦克风位置、接触力轮廓、材料标签、RGBD图像
  • 任务：听众位置分类、视觉声学匹配

• OMNI3D: A Large Benchmark and Model for 3D Object Detection in the Wild

  • 来源：新标注（SUN RGB-D, ARKitScenes, Hypersim, Objectron, KITTI, nuScenes）
  • 数据规模：234k图像，300万实例，98个3D盒子类别
  • 模态：单图像、3D立方体
  • 任务：3D对象检测

• Self-supervised Neural Articulated Shape and Appearance Models

  • 来源：无数据集贡献
  • 模态：图像、3D形状
  • 任务：少样本重建、新关节生成、新视图合成

• MBW: Multi-view Bootstrapping in the Wild

  • 来源：Raw Dataset
  • 数据规模：多视角（2~4个摄像头）老虎、鱼、疣猴、大猩猩、黑猩猩、火烈鸟，每个有2个同步视频
  • 模态：多视角、2D关节对象标记
  • 任务：标记关节对象

手部

• A Dataset of Relighted 3D Interacting Hands
  • 时间：NeurlPS 2023
  • 模态：未知
  • 任务：未知

场景

• LASA: Instance Reconstruction from Real Scans using A Large-scale Aligned Shape Annotation Dataset
  • 来源：ArKitScenes
  • 数据规模：10,412 CAD与920个场景对齐，17个类别
  • 模态：点云、多视角
  • 任务：室内实例级场景重建
  • 模型：基于扩散

合成数据

对象

• GAPartNet: Cross-Category Domain-Generalizable Object Perception and Manipulation via Generalizable and Actionable Parts

  • 来源：Raw: GAPartNet
  • 数据规模：8489个部分实例，1166个对象
  • 模态：点云
  • 任务：部分分割、部分姿态估计、基于部分的对象操作

• GeoCode: Interpretable Shape Programs

  • 数据规模：训练集：9,570椅子，9,330花瓶，6,270桌子；验证和测试集：957椅子，933花瓶，627桌子
  • 模态：网格、点云、草图
  • 任务：3D几何编辑

• Breaking Bad: A Dataset for Geometric Fracture and Reassembly

  • 来源：Thingi10K, PartNet
  • 数据规模：10,474个形状，1,047,400个分解模式
  • 模态：点云
  • 任务：几何测量、形状组装

• Fixing Malfunctional Objects With Learned Physical Simulation and Functional Prediction

  • 来源：Raw Data: 设计不良的3D物理对象（3D对象的点视频）
  • 数据规模：5K
  • 模态：点云
  • 任务：基于功能的3D对象形状修复

操作

• Leveraging Language for Accelerated Learning of Tool Manipulation
  • 数据规模：36个对象
  • 模态：图像
  • 任务：工具使用

对象与场景

• PeRFception: Perception using Radiance Fields
  • 来源：CO3D, ScanNet
  • 数据规模：CO3D（18669个标注视频，150万帧），ScanNet（1.5K室内场景）
  • 模态：多视角、重建点云
  • 任务：2D图像分类、3D对象分类、3D语义分割

真实与合成混合数据

场景

• SceneFun3D: Fine-Grained Functionality and Affordance Understanding in 3D Scenes

  • 时间：CVPR 2024
  • 模态：未知
  • 任务：未知

• OPD: Single-view 3D Openable Part Detection

  • 时间：ECCV 2022
  • 模态：未知
  • 任务：未知

生成模型或工具

对象

文本到3D

• CommonSim-1: Generating 3D Worlds
  • 时间：2022.10
  • 任务：文本到3D动态环境生成

单视图到3D

• Splatter Image: Ultra-Fast Single-View 3D Reconstruction
  • 时间：CVPR 2024
  • 任务：超快单视图3D重建

配对图像到3D

• pixelSplat: 3D Gaussian Splats from Image Pairs for Scalable Generalizable 3D Reconstruction
  • 时间：CVPR 2024
  • 任务：从图像对进行可扩展的3D重建

多视图到3D

• NeuS2: Fast Learning of Neural Implicit Surfaces for Multi-view Reconstruction
  • 时间：ICCV 2023
  • 任务：多视图重建

搜集汇总

数据集介绍

构建方式

Awesome-3D-Dataset 数据集的构建方式主要通过整合多种来源的3D数据，包括真实世界的数据和合成数据。真实数据部分涵盖了从日常生活物品到复杂场景的广泛类别，如家具、手部动作和室内环境等。合成数据则通过生成模型和工具创建，包括对象和场景的多种视图和属性。数据集的构建过程中，研究人员通过采集、标注和整合不同来源的数据，确保数据的高质量和多样性，以支持各种3D视觉任务的研究和应用。

特点

Awesome-3D-Dataset 数据集的主要特点在于其广泛的数据覆盖和多样的任务支持。数据集包含了从简单的3D对象识别到复杂的场景理解和语言引导的任务，涵盖了从单视图到多视图、从点云到网格等多种数据模态。此外，数据集还特别强调了真实数据与合成数据的结合，以及大规模数据集的构建，以满足深度学习模型对大量训练数据的需求。这些特点使得该数据集在3D视觉领域的研究和应用中具有重要的价值。

使用方法

Awesome-3D-Dataset 数据集的使用方法多样，适用于多种3D视觉任务的研究和开发。用户可以根据具体任务需求，选择合适的数据子集进行训练和测试。例如，对于3D对象识别任务，可以选择包含丰富对象类别的子集；对于场景理解和语言引导任务，可以选择包含复杂场景和自然语言描述的子集。数据集提供了详细的数据说明和标注信息，方便用户进行数据预处理和模型训练。此外，数据集还支持多种数据模态的组合使用，以提升模型的泛化能力和任务表现。

背景与挑战

背景概述

Awesome-3D-Dataset是一个专注于收集和整理最新3D资产的资源库，涵盖了从真实数据到合成数据的广泛领域。该数据集的创建旨在支持3D视觉和感知领域的研究，特别是3D对象和场景的理解、重建和生成。主要研究人员和机构包括CVPR、NeurIPS、ICCV等顶级会议的参与者，以及诸如Objaverse、ShapeNet、ScanNet等知名数据源的贡献。核心研究问题涉及3D对象的分类、分割、姿态估计以及场景的语义理解和生成。该数据集对3D视觉领域的影响力在于其大规模、多样化的数据支持，推动了从零样本学习到多模态融合的多种前沿研究。

当前挑战

Awesome-3D-Dataset在构建过程中面临多项挑战。首先，数据集的多样性和规模要求高效的存储和处理技术，以确保数据的可用性和访问速度。其次，3D数据的获取和标注成本高昂，尤其是在涉及真实世界场景和对象时，需要精确的3D扫描和人工标注。此外，跨模态数据的融合和处理，如将文本描述与3D模型对齐，是一个复杂且计算密集的任务。最后，数据集的更新和维护需要持续的投入，以保持其前沿性和实用性，特别是在技术快速发展的3D视觉领域。

常用场景

经典使用场景

在三维计算机视觉领域，Awesome-3D-Dataset 数据集的经典使用场景主要集中在三维对象和场景的理解与分析。该数据集包含了大量真实和合成的三维数据，适用于多种任务，如三维对象的分类、分割、姿态估计以及场景的语义理解和重建。例如，研究者可以利用该数据集进行三维对象的零样本分类，通过预训练模型在未见过的类别上进行分类任务。此外，数据集中的多模态数据（如点云、图像和语言）为跨模态学习提供了丰富的资源，支持三维对象与自然语言描述的联合理解。

衍生相关工作

Awesome-3D-Dataset 数据集的发布催生了一系列相关研究工作。例如，基于该数据集，研究者开发了多种三维对象检测和分割算法，显著提升了三维视觉任务的性能。此外，数据集的多模态特性激发了跨模态学习的研究，如结合图像和语言信息进行三维对象的定位和描述。在场景理解方面，数据集促进了复杂室内场景的语义分割和重建研究，推动了三维场景图和场景问答系统的发展。这些衍生工作不仅丰富了三维计算机视觉的理论研究，也为实际应用提供了技术支持。

数据集最近研究

最新研究方向

在三维数据集领域，最新的研究方向主要集中在多模态融合与语义理解上。研究者们致力于通过结合图像、点云和语言数据，提升三维物体和场景的识别与理解能力。例如，ULIP-2项目通过大规模多模态预训练，实现了对三维形状的零样本分类和生成。此外，Open3DSG和LASA等项目则专注于从点云数据中提取并理解复杂的场景结构和物体间的关系。这些研究不仅推动了三维视觉技术的发展，也为智能机器人和增强现实等应用提供了坚实的基础。