Cap3D

Cap3D仓库提供了用于3D对象描述的数据，核心定位是为[Scalable 3D Captioning with Pretrained Models](https://cap3d-um.github.io/)和[View Selection for 3D Captioning via Diffusion Ranking](http://arxiv.org/abs/2404.07984)提供数据支持。数据内容包括Objaverse、Objaverse-XL和ABO数据集中3D对象的描述性**文本**、**点云**、带有相机参数的**渲染图像**（包含深度和MatAlpha信息）以及Shap-E潜在代码。其中，Cap3D_automated_Objaverse_full.csv文件包含1,006,782个3D-文本对，PointCloud_zips包含1,006,782个点云数据。这些数据通过Cap3D和DiffuRank生成，并以ODC-By 1.0协议授权。Cap3D仓库还提供了数据加载的Python脚本示例，方便用户进行标准化数据操作。Cap3D仓库提供面向3D对象描述的数据集，核心定位是为**可扩展的3D描述生成（Scalable 3D Captioning with Pretrained Models）**与**基于扩散排序的3D描述视角选择（View Selection for 3D Captioning via Diffusion Ranking）**两项研究提供数据支撑，对应链接分别为<https://cap3d-um.github.io/>与<http://arxiv.org/abs/2404.07984>。数据集涵盖Objaverse、Objaverse-XL及ABO三类数据集中3D对象的**描述性文本**、**点云**、搭载相机参数的**渲染图像**（含深度信息与MatAlpha参数）以及Shap-E潜在编码。其中，Cap3D_automated_Objaverse_full.csv文件包含1,006,782组3D-文本配对数据，PointCloud_zips压缩包内含1,006,782份点云数据集。上述数据集均由Cap3D与DiffuRank生成，并遵循ODC-By 1.0开源协议授权发布。Cap3D仓库还配套提供了数据加载的Python示例脚本，方便用户开展标准化的数据操作。

搜集汇总

背景与挑战

背景概述

Cap3D数据集是一个用于3D对象描述的大规模多模态数据集，主要为两篇相关论文提供数据支持。它包含来自Objaverse、Objaverse-XL和ABO的超过100万个3D-文本对，以及对应的点云、渲染图像和Shap-E潜在代码，数据通过自动化方法生成并以开放协议授权。该数据集旨在促进3D视觉与语言任务的研究，并提供了标准化的数据加载工具。