hw-liang/Diffusion4D

Diffusion4D数据集是一个大规模的动态3D（4D）数据集，来源于Objaverse-1.0和Objaverse-XL的3D数据。数据集经过一系列经验规则筛选，包含高质量的4D对象ID、使用Blender的渲染脚本以及团队渲染的4D图像。数据集主要用于文本到4D、图像到4D、3D到4D等任务。数据集包含365k个动态3D资产，其中42k来自Objaverse-1.0，323k来自Objaverse-XL。数据集的元数据信息包括动画对象的元数据和成功渲染对象的元数据。文本到4D生成的描述信息来源于Cap3D项目。

The Diffusion4D dataset is a large-scale dynamic 3D (4D) dataset sourced from the 3D data of Objaverse-1.0 and Objaverse-XL. The dataset is filtered through a series of empirical rules and includes high-quality 4D object IDs, a rendering script using Blender, and 4D images rendered by the team. The dataset is primarily used for tasks such as text-to-4D, image-to-4D, and 3D-to-4D. The dataset contains 365k dynamic 3D assets, with 42k from Objaverse-1.0 and 323k from Objaverse-XL. The metadata of the dataset includes metadata for animated objects and successfully rendered objects. The captions for text-to-4D generation are obtained from the Cap3D project.

原始信息汇总

数据集概述

数据集名称

• Diffusion4D: Fast Spatial-temporal Consistent 4D Generation via Video Diffusion Models

数据集来源

• 数据来源于 Objaverse-1.0 和 Objaverse-XL。

数据集内容

• 包含365k动态3D资产，其中42k来自Objaverse-1.0，323k来自Objaverse-xl。
• 提供渲染脚本和个性化设置，以及团队渲染的4D图像。

数据集元数据

• 动画对象的元数据存储于 meta_xl_animation_tot.csv。
• 所有成功渲染的对象元数据存储于 meta_xl_tot.csv。

数据集应用

• 用于文本到4D生成，文本描述来自 Cap3D。

数据集规模

• 数据集大小介于1M到10M之间。

数据集语言

• 英语（en）

数据集标签

• 4D, 3D, text-to-4d, image-to-4d, 3d-to-4d

数据集任务类别

• text-to-3d, image-to-3d

许可证

• Apache-2.0

最新更新

• 2024.6.4: 发布渲染数据，包括动态3D的轨道视频、静态3D的轨道视频和前视单目视频。
• 2024.5.27: 发布对象的元数据。

引用信息

@article{liang2024diffusion4d, title={Diffusion4D: Fast Spatial-temporal Consistent 4D Generation via Video Diffusion Models}, author={Liang, Hanwen and Yin, Yuyang and Xu, Dejia and Liang, Hanxue and Wang, Zhangyang and Plataniotis, Konstantinos N and Zhao, Yao and Wei, Yunchao}, journal={arXiv preprint arXiv:2405.16645}, year={2024} }

搜集汇总

背景与挑战

背景概述

Diffusion4D是一个从Objaverse-1.0和Objaverse-XL筛选出的高质量动态3D数据集，包含365k动态3D资产，支持文本到4D和图像到4D生成任务。数据集提供了渲染脚本和预渲染图像，适用于4D生成研究。