ACROSS-Lab/PromptTo3D_sd_dataset

---
dataset_info:
features:
- name: image
dtype: image
- name: label
dtype:
class_label:
names:
'0': train
- name: text
dtype: string
splits:
- name: train
num_bytes: 796865621.92
num_examples: 1030
download_size: 792357206
dataset_size: 796865621.92
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
---
# Stable Diffusion Dataset For 3D images generation

This is a set of 1.030 pairs prompt-image filtered and extracted from the 3D dataset [Objaverse](https://objaverse.allenai.org/)
This Dataset was used to finetune [Stable Diffusion 2](https://huggingface.co/stabilityai/stable-diffusion-2) in order to generate good (isolated, full object ...) images to feed an image to 3D model after that (like [Triposr](https://github.com/VAST-AI-Research/TripoSR) or [CRM](https://huggingface.co/Zhengyi/CRM)).

The issue we faced here was to chose which image to keep as most Objaverse objects had no title, no description or an inadequate one (for instance : School Project n°45). Thus the images have been sorted manually and by keeping around 20% of them we managed to build a 1000 big image dataset.

数据集信息：
特征：
- 名称：图像（image），数据类型：图像
- 名称：标签（label），数据类型：
分类标签（class_label）：
类别名称：
'0': 训练集（train）
- 名称：文本（text），数据类型：字符串
数据划分：
- 名称：训练集（train），字节占用数：796865621.92，样本数量：1030
下载大小：792357206，数据集总大小：796865621.92
配置项：
- 配置名称：默认（default），数据文件：
- 划分集：训练集（train），路径：data/train-*
---
# 面向3D图像生成的Stable Diffusion数据集

本数据集包含1030条提示词-图像配对样本，均从3D数据集[Objaverse](https://objaverse.allenai.org/)中筛选并提取而来。

本数据集曾用于微调[Stable Diffusion 2](https://huggingface.co/stabilityai/stable-diffusion-2)，以生成高质量（孤立背景、完整物体等）图像，后续可将这些图像输入至3D模型（如[Triposr](https://github.com/VAST-AI-Research/TripoSR)或[CRM](https://huggingface.co/Zhengyi/CRM)）中。

本次研究面临的核心问题是如何筛选有效图像，因为Objaverse中的绝大多数物体既无标题也无描述，或其描述并不适配生成需求（例如“学校项目第45号”）。因此，研究团队通过人工筛选的方式对图像进行排序，最终保留了约20%的样本，成功构建出包含1000条样本的图像数据集。