3dlg-hcvc/DuoduoCLIP-data

DuoduoCLIP数据集用于训练多视角图像的3D理解模型。数据集主要来源于Zero123、Objaverse、ABO、ShapeNet和3D-FUTURE等数据集。初始版本提供了LVIS评估数据，并计划在未来提供训练所需的数据和预处理脚本。此外，还提供了由模型生成的Objaverse嵌入。

原始信息汇总

数据集卡片：DuoduoCLIP

数据集详情

数据集来源

• 多视角图像：用于训练模型的3D对象的多视角图像。
• 主要来源：大部分来自Zero123论文（MIT许可证）。
• 初始发布：包含LVIS图像的初始发布主要来自Zero123，并进行了一些预处理。
• 其他发布：将提供数据预处理脚本，并指向下载链接。
• 渲染：对于未由Zero123渲染的对象，使用Zero123的Blender脚本进行渲染。

数据集列表

1. Zero123

   • 仓库：https://github.com/cvlab-columbia/zero123
   • 论文：https://arxiv.org/abs/2303.11328

2. Objaverse

   • 仓库：https://github.com/allenai/objaverse-xl
   • 论文：https://arxiv.org/abs/2212.08051

3. ABO

   • 仓库：https://github.com/jazcollins/amazon-berkeley-objects
   • 论文：https://arxiv.org/abs/2110.06199

4. ShapeNet

   • 仓库：https://huggingface.co/ShapeNet
   • 论文：https://arxiv.org/abs/1512.03012

5. 3D-FUTURE

   • 网站：https://tianchi.aliyun.com/specials/promotion/alibaba-3d-future
   • 论文：https://arxiv.org/abs/2009.09633

模型嵌入

• 提供嵌入：将提供由我们发布的模型生成的Objaverse嵌入。
• 初始发布嵌入：初始发布中提供了由Four_1to6F_bs1600_LT6模型生成的Objaverse嵌入。