3DAIGC/gobjaverse

---
license: mit
---

<p align="center">
<h1>G-buffer Objaverse</h1>
<p>

G-buffer Objaverse: High-Quality Rendering Dataset of Objaverse.

[Chao Xu](mailto:[e-mail]),
[Yuan Dong](mailto:[e-mail]),
[Qi Zuo](mailto:[e-mail]),
[Junfei Zhang](mailto:[e-mail]),
[Xiaodan Ye](mailto:[e-mail]),
[Wenbo Geng](mailto:[e-mail]),
[Yuxiang Zhang](mailto:[e-mail]),
[Xiaodong Gu](https://scholar.google.com.hk/citations?user=aJPO514AAAAJ&hl=zh-CN&oi=ao),
[Lingteng Qiu](https://lingtengqiu.github.io/),
[Zhengyi Zhao](mailto:[e-mail]),
[Qing Ran](mailto:[e-mail]),
[Jiayi Jiang](mailto:[e-mail]),
[Zilong Dong](https://scholar.google.com/citations?user=GHOQKCwAAAAJ&hl=zh-CN&oi=ao),
[Liefeng Bo](https://scholar.google.com/citations?user=FJwtMf0AAAAJ&hl=zh-CN)

## [Project page](https://aigc3d.github.io/gobjaverse/)
## [Github](https://github.com/modelscope/richdreamer/tree/main/dataset/gobjaverse)
## [YouTube](https://www.youtube.com/watch?v=PWweS-EPbJo)
## [RichDreamer](https://aigc3d.github.io/richdreamer/)
## [ND-Diffusion Model](https://github.com/modelscope/normal-depth-diffusion)

## TODO
- [ ] Release objaverse-xl alignment rendering data

## News

- We have released a compressed version of the datasets, check the downloading tips! (01.14, 2024 UTC)
- Thanks for [JunzheJosephZhu](https://github.com/JunzheJosephZhu) for improving the robustness of the downloading scripts. Now you could restart the download script from the break point. (01.12, 2024 UTC)
- Release 10 Category Annotation of the Objaverse Subset (01.06, 2024 UTC)
- Release G-buffer Objaverse Rendering Dataset (01.06, 2024 UTC)

## Download
- Download gobjaverse ***(6.5T)*** rendering dataset using following scripts.
```bash
# download_gobjaverse_280k index file
wget https://virutalbuy-public.oss-cn-hangzhou.aliyuncs.com/share/aigc3d/gobjaverse_280k.json
# Example: python ./scripts/data/download_gobjaverse_280k.py ./gobjaverse_280k ./gobjaverse_280k.json 10
python ./download_gobjaverse_280k.py /path/to/savedata /path/to/gobjaverse_280k.json nthreads(eg. 10)
# Or if the network is not so good, we have provided a compressed verison with each object as a tar file
# To download the compressed version(only 260k tar files)
python ./download_objaverse_280k_tar.py /path/to/savedata /path/to/gobjaverse_280k.json nthreads(eg. 10)
# download gobjaverse_280k/gobjaverse index to objaverse
wget https://virutalbuy-public.oss-cn-hangzhou.aliyuncs.com/share/aigc3d/gobjaverse_280k_index_to_objaverse.json
wget https://virutalbuy-public.oss-cn-hangzhou.aliyuncs.com/share/aigc3d/gobjaverse_index_to_objaverse.json
# download Cap3D text-caption file
wget https://virutalbuy-public.oss-cn-hangzhou.aliyuncs.com/share/aigc3d/text_captions_cap3d.json

```
- The 10 general categories including Human-Shape (41,557), Animals (28,882), Daily-Used (220,222), Furnitures (19,284), Buildings&&Outdoor (116,545), Transportations (20,075), Plants (7,195), Food (5,314), Electronics (13,252) and Poor-quality (107,001).
- Download the category annotation using following scripts.

```bash
# download category annotation
wget https://virutalbuy-public.oss-cn-hangzhou.aliyuncs.com/share/aigc3d/category_annotation.json
# If you want to download a specific category in gobjaverse280k:
# Step1: download the index file of the specified category.
wget https://virutalbuy-public.oss-cn-hangzhou.aliyuncs.com/share/aigc3d/gobjaverse_280k_split/gobjaverse_280k_{category_name}.json # category_name: Human-Shape, ...
# Step2: download using script.
# Example: python ./scripts/data/download_gobjaverse_280k.py ./gobjaverse_280k_Human-Shape ./gobjaverse_280k_Human-Shape.json 10
python ./download_gobjaverse_280k.py /path/to/savedata /path/to/gobjaverse_280k_{category_name}.json nthreads(eg. 10)
```

## Folder Structure
- The structure of gobjaverse rendering dataset:
```
|-- ROOT
|-- dictionary_id
|-- instance_id
|-- campos_512_v4
|-- 00000
|-- 00000.json # Camera Information
|-- 00000.png # RGB
|-- 00000_albedo.png # Albedo
|-- 00000_hdr.exr # HDR
|-- 00000_mr.png # Metalness and Roughness
|-- 00000_nd.exr # Normal and Depth
|-- ...
```

### Coordinate System

#### Normal Coordinate System

The 3D coordinate system definition is very complex. it is difficult for us to say what the camera system used. Fortunately, the target we want to get is mapping the world normal of rendering system to Normal-Bae system, as the following figure illustrates:


where the U-axis and V-axis denote the width-axis and height-axis in image space, respectively, the xyz is the Normal-Bae camera view coordinate system.

Note that public rendering system for Objaverse is blender-based system:


However, our rendering system is defined at **Unity-based system**, seeing:


*A question is how do we plug in blender's coordinate system directly without introducing a new coordinate system?*

A possible solution is that we maintain world to camera transfer matrix as blender setting, *transferring Unity-based system to blender-based system*

We provide example codes to visualize the coordinate mapping.

```bash
# example of coordinate experiments
## download datasets
wget https://virutalbuy-public.oss-cn-hangzhou.aliyuncs.com/share/Lingtengqiu/render_data_examples.zip
unzip render_data_examples.zip

## visualizing blender-based system, and warping world-space normal to normal-bae system.
python ./process_blender_dataset.py

## visualizing our system, and warping world-space normal to normal-bae system.
python ./process_unity_dataset.py
```

#### Depth-Warpping
We write an example to demonstrate that how to obtain intrinsic matrix K, and warp ref image to target image based on ref depth map.

```bash
# build quick-zbuff code
mkdir -p ./lib/build
g++ -shared -fpic -o ./lib/build/zbuff.so ./lib/zbuff.cpp

# an demo for depth-based Warpping
# python ./depth_warp_example.py $REFVIEW $TARGETVIEW
python3 ./depth_warp_example.py 0 3
```

## Citation

```
@article{qiu2023richdreamer,
title={RichDreamer: A Generalizable Normal-Depth Diffusion Model for Detail Richness in Text-to-3D},
author={Lingteng Qiu and Guanying Chen and Xiaodong Gu and Qi zuo and Mutian Xu and Yushuang Wu and Weihao Yuan and Zilong Dong and Liefeng Bo and Xiaoguang Han},
year={2023},
journal = {arXiv preprint arXiv:2311.16918}
}
```
```
@article{objaverse,
title={Objaverse: A Universe of Annotated 3D Objects},
author={Matt Deitke and Dustin Schwenk and Jordi Salvador and Luca Weihs and
Oscar Michel and Eli VanderBilt and Ludwig Schmidt and
Kiana Ehsani and Aniruddha Kembhavi and Ali Farhadi},
journal={arXiv preprint arXiv:2212.08051},
year={2022}
}
```

---
许可证：MIT
---

<p align="center">
<h1>G缓冲（G-buffer）Objaverse</h1>
</p>

G缓冲（G-buffer）Objaverse：Objaverse高质量渲染数据集。

徐超（Chao Xu）<[e-mail]>、董源（Yuan Dong）<[e-mail]>、左琪（Qi Zuo）<[e-mail]>、张俊飞（Junfei Zhang）<[e-mail]>、叶晓丹（Xiaodan Ye）<[e-mail]>、耿文博（Wenbo Geng）<[e-mail]>、张宇翔（Yuxiang Zhang）<[e-mail]>、顾晓东（Xiaodong Gu）[谷歌学术主页](https://scholar.google.com.hk/citations?user=aJPO514AAAAJ&hl=zh-CN&oi=ao)、邱灵腾（Lingteng Qiu）[个人主页](https://lingtengqiu.github.io/)、赵正一（Zhengyi Zhao）<[e-mail]>、冉晴（Qing Ran）<[e-mail]>、姜佳毅（Jiayi Jiang）<[e-mail]>、董子龙（Zilong Dong）[谷歌学术主页](https://scholar.google.com/citations?user=GHOQKCwAAAAJ&hl=zh-CN&oi=ao)、薄立峰（Liefeng Bo）[谷歌学术主页](https://scholar.google.com/citations?user=FJwtMf0AAAAJ&hl=zh-CN)

## [项目主页](https://aigc3d.github.io/gobjaverse/)
## [GitHub 仓库](https://github.com/modelscope/richdreamer/tree/main/dataset/gobjaverse)
## [YouTube 演示视频](https://www.youtube.com/watch?v=PWweS-EPbJo)
## [RichDreamer 项目](https://aigc3d.github.io/richdreamer/)
## [ND-Diffusion 模型（ND-Diffusion Model）](https://github.com/modelscope/normal-depth-diffusion)

## 待办事项
- [ ] 发布Objaverse-XL对齐渲染数据集

## 最新动态
- 我们已发布数据集的压缩版本，详见下载指南！（2024年1月14日，协调世界时）
- 感谢朱俊哲（JunzheJosephZhu）优化下载脚本的鲁棒性，如今您可从断点处重新启动下载流程。（2024年1月12日，协调世界时）
- 发布Objaverse子集的10个类别标注（2024年1月6日，协调世界时）
- 发布G缓冲（G-buffer）Objaverse渲染数据集（2024年1月6日，协调世界时）

## 下载方式
请使用以下脚本下载gobjaverse ***(6.5TB)*** 渲染数据集：
bash
# 下载gobjaverse_280k索引文件
wget https://virutalbuy-public.oss-cn-hangzhou.aliyuncs.com/share/aigc3d/gobjaverse_280k.json
# 示例：python ./scripts/data/download_gobjaverse_280k.py ./gobjaverse_280k ./gobjaverse_280k.json 10
python ./download_gobjaverse_280k.py /path/to/savedata /path/to/gobjaverse_280k.json nthreads(eg. 10)
# 若网络状况不佳，我们提供了压缩版本，每个物体为一个tar文件
# 下载压缩版本（仅含26万个tar文件）
python ./download_objaverse_280k_tar.py /path/to/savedata /path/to/gobjaverse_280k.json nthreads(eg. 10)
# 下载gobjaverse_280k/gobjaverse到Objaverse的索引文件
wget https://virutalbuy-public.oss-cn-hangzhou.aliyuncs.com/share/aigc3d/gobjaverse_280k_index_to_objaverse.json
wget https://virutalbuy-public.oss-cn-hangzhou.aliyuncs.com/share/aigc3d/gobjaverse_index_to_objaverse.json
# 下载Cap3D文本标注文件
wget https://virutalbuy-public.oss-cn-hangzhou.aliyuncs.com/share/aigc3d/text_captions_cap3d.json

本数据集共包含10个通用类别：人形（41,557个）、动物（28,882个）、日常用品（220,222个）、家具（19,284个）、建筑与户外场景（116,545个）、交通工具（20,075个）、植物（7,195个）、食品（5,314个）、电子产品（13,252个）以及低质量模型（107,001个）。

请使用以下脚本下载类别标注文件：
bash
# 下载类别标注文件
wget https://virutalbuy-public.oss-cn-hangzhou.aliyuncs.com/share/aigc3d/category_annotation.json
# 若需下载gobjaverse_280k中的特定类别数据：
# 步骤1：下载指定类别的索引文件
wget https://virutalbuy-public.oss-cn-hangzhou.aliyuncs.com/share/aigc3d/gobjaverse_280k_split/gobjaverse_280k_{category_name}.json # 类别名称：Human-Shape 等
# 步骤2：使用脚本下载数据
# 示例：python ./scripts/data/download_gobjaverse_280k.py ./gobjaverse_280k_Human-Shape ./gobjaverse_280k_Human-Shape.json 10
python ./download_gobjaverse_280k.py /path/to/savedata /path/to/gobjaverse_280k_{category_name}.json nthreads(eg. 10)

## 目录结构
gobjaverse渲染数据集的目录结构如下：

|-- ROOT
|-- dictionary_id
|-- instance_id
|-- campos_512_v4
|-- 00000
|-- 00000.json # 相机参数信息
|-- 00000.png # RGB图像
|-- 00000_albedo.png # 反照率图
|-- 00000_hdr.exr # HDR环境贴图
|-- 00000_mr.png # 金属度与粗糙度图
|-- 00000_nd.exr # 法向量与深度图
|-- ...

## 坐标系说明
### 法向量坐标系
三维坐标系的定义较为复杂，我们难以直接说明所采用的相机坐标系。所幸我们的目标是将渲染系统的世界空间法向量映射至Normal-Bae坐标系，如下图所示：
其中U轴与V轴分别代表图像空间的宽轴与高轴，xyz轴为Normal-Bae相机视图坐标系。

请注意，Objaverse公开的渲染系统基于Blender引擎：
但本数据集的渲染系统基于**Unity引擎**，详见下图：

> 核心问题在于：如何在不引入新坐标系的前提下，直接兼容Blender的坐标系？
>
> 一种可行的解决方案是保留Blender的世界空间到相机空间的转换矩阵，将Unity引擎坐标系转换至Blender坐标系。

我们提供了用于可视化坐标映射的示例代码：
bash
# 坐标实验示例
## 下载示例数据集
wget https://virutalbuy-public.oss-cn-hangzhou.aliyuncs.com/share/Lingtengqiu/render_data_examples.zip
unzip render_data_examples.zip

## 可视化Blender坐标系，并将世界空间法向量转换至Normal-Bae坐标系。
python ./process_blender_dataset.py

## 可视化本数据集采用的坐标系，并将世界空间法向量转换至Normal-Bae坐标系。
python ./process_unity_dataset.py

### 深度变形（Depth-Warpping）
我们提供了示例代码，用于演示如何获取内参矩阵K，并基于参考深度图将参考图像变形至目标视图。
bash
# 编译快速深度缓冲代码
mkdir -p ./lib/build
g++ -shared -fpic -o ./lib/build/zbuff.so ./lib/zbuff.cpp

# 基于深度的变形演示脚本
# python ./depth_warp_example.py $REFVIEW $TARGETVIEW
python3 ./depth_warp_example.py 0 3

## 引用格式

@article{qiu2023richdreamer,
title={RichDreamer: A Generalizable Normal-Depth Diffusion Model for Detail Richness in Text-to-3D},
author={Lingteng Qiu and Guanying Chen and Xiaodong Gu and Qi zuo and Mutian Xu and Yushuang Wu and Weihao Yuan and Zilong Dong and Liefeng Bo and Xiaoguang Han},
year={2023},
journal = {arXiv preprint arXiv:2311.16918}
}

@article{objaverse,
title={Objaverse: A Universe of Annotated 3D Objects},
author={Matt Deitke and Dustin Schwenk and Jordi Salvador and Luca Weihs and
Oscar Michel and Eli VanderBilt and Ludwig Schmidt and
Kiana Ehsani and Aniruddha Kembhavi and Ali Farhadi},
journal={arXiv preprint arXiv:2212.08051},
year={2022}
}

原始信息汇总

数据集概述

数据集名称

• G-buffer Objaverse

数据集描述

• 提供高质量的Objaverse渲染数据集。

数据集创建者

• Chao Xu, Yuan Dong, Qi Zuo, Junfei Zhang, Xiaodan Ye, Wenbo Geng, Yuxiang Zhang, Xiaodong Gu, Lingteng Qiu, Zhengyi Zhao, Qing Ran, Jiayi Jiang, Zilong Dong, Liefeng Bo

许可证

• MIT

数据集大小

• 总计6.5T

数据集内容

• 包含多种渲染数据，如RGB图像、Albedo、HDR、Metalness and Roughness、Normal and Depth等。
• 分为10个主要类别：Human-Shape, Animals, Daily-Used, Furnitures, Buildings&&Outdoor, Transportations, Plants, Food, Electronics, Poor-quality。

数据集下载

• 可通过特定脚本下载完整数据集或压缩版本。
• 提供特定类别的下载选项。

数据集结构

|-- ROOT |-- dictionary_id |-- instance_id |-- campos_512_v4 |-- 00000 |-- 00000.json # Camera Information |-- 00000.png # RGB |-- 00000_albedo.png # Albedo |-- 00000_hdr.exr # HDR |-- 00000_mr.png # Metalness and Roughness |-- 00000_nd.exr # Normal and Depth |-- ...

坐标系统

• 使用Unity-based系统定义的3D坐标系统。
• 提供代码示例以可视化坐标映射。

引用信息

@article{qiu2023richdreamer, title={RichDreamer: A Generalizable Normal-Depth Diffusion Model for Detail Richness in Text-to-3D}, author={Lingteng Qiu and Guanying Chen and Xiaodong Gu and Qi zuo and Mutian Xu and Yushuang Wu and Weihao Yuan and Zilong Dong and Liefeng Bo and Xiaoguang Han}, year={2023}, journal = {arXiv preprint arXiv:2311.16918} }

@article{objaverse, title={Objaverse: A Universe of Annotated 3D Objects}, author={Matt Deitke and Dustin Schwenk and Jordi Salvador and Luca Weihs and Oscar Michel and Eli VanderBilt and Ludwig Schmidt and Kiana Ehsani and Aniruddha Kembhavi and Ali Farhadi}, journal={arXiv preprint arXiv:2212.08051}, year={2022} }

搜集汇总

数据集介绍

构建方式

G-buffer Objaverse数据集的构建基于Objaverse的子集，通过Unity渲染引擎生成了高质量的三维对象渲染数据。该数据集包含了不同视角下的RGB图像、HDR图像、Albedo图、金属度和粗糙度图以及正常和深度图，旨在为三维对象的理解和渲染提供全面的数据支持。

特点

G-buffer Objaverse数据集的特点在于其高质量和全面的渲染信息。它包含了超过280,000个三维对象实例，涵盖了十大通用类别，包括人物、动物、日用品、家具、建筑与户外、交通工具、植物、食物、电子产品等，且每个对象都提供了多种渲染图和对应的相机参数信息。

使用方法

用户可以通过提供的脚本来下载G-buffer Objaverse数据集。数据集的目录结构清晰，按照对象ID和实例ID组织文件，便于用户检索和加载。此外，数据集提供了示例代码，帮助用户理解和转换坐标系统，以及基于深度图进行图像的变换操作。

背景与挑战

背景概述

G-buffer Objaverse数据集，是由阿里巴巴集团、复旦大学以及多位研究人员共同构建的高质量渲染三维对象数据集。该数据集的创建旨在为三维渲染研究提供丰富的数据资源，其发布时间是2023年。数据集涵盖了包括人类形象、动物、日用品、家具、建筑与户外、交通工具、植物、食物、电子产品以及低质量图像在内的十大类别，共计280万个实例。G-buffer Objaverse的构建，不仅为计算机视觉领域，尤其是三维渲染技术的研究提供了有力的数据支撑，而且对促进相关算法的发展和模型训练具有显著影响。

当前挑战

该数据集在构建过程中面临了多方面的挑战。首先，高质量渲染数据的生成需要大量的计算资源和存储空间，这对数据集的构建提出了较高的硬件要求。其次，数据集的多样性和准确性要求在数据收集和标注过程中保持高度的一致性和精确性。此外，不同渲染系统间的坐标系统转换，以及深度图和法线图的配准问题，也是构建过程中需要克服的技术难题。这些挑战对于数据集的可用性和研究价值的最大化具有重要影响。

常用场景

经典使用场景

在计算机视觉与图形学领域，G-buffer Objaverse数据集以其高质量渲染效果而备受推崇。该数据集通常被用于训练模型以精确捕捉物体的表面细节，包括颜色、材质、光照等。经典的使用场景包括在三维模型渲染中，利用数据集提供的丰富信息进行纹理合成、光照估计以及表面法线映射，从而实现逼真的视觉效果。

解决学术问题

该数据集解决了学术研究中关于三维对象渲染的真实性和细节表现问题。通过提供高质量的渲染数据，它帮助研究人员克服了传统数据集在材质和光照表现上的局限性，为深度学习模型训练提供了更为准确和全面的数据基础，进而推动了三维渲染技术的进步。

衍生相关工作

基于G-buffer Objaverse数据集，学术界衍生出了多项经典工作。例如，RichDreamer模型的提出，利用该数据集实现了从文本到三维模型的生成，大大提高了模型的真实感和细节表现。此外，ND-Diffusion模型也是利用该数据集进行训练，实现了高质量的正常和深度信息的生成，为三维渲染带来了新的可能性。