sana-vae-latents

SANA VAE Latents — DC-AE f32c32是一个预计算的VAE潜在表示数据集，专门设计用于训练NVLabs SANA模型。它包含约490万个动漫和插画图像的编码潜在表示，并排除了AI生成的艺术作品。数据以WebDataset格式存储，每个样本包括一个.npy文件（存储形状为[32, H/32, W/32]的fp16精度潜在向量）和一个.json文件（包含提示词、宽度、高度等元数据）。图像使用DC-AE f32c32自动编码器进行编码，并经过缩放因子0.41407调整，同时被调整大小并中心裁剪至最近的1024像素宽高比桶。数据来源于gelbooru-darask、gelbooru-darask2和danbooru-darask三个标注数据集，但需注意gelbooru-darask和gelbooru-darask2之间存在约143万个ID重叠，使用前需进行去重处理。该数据集适用于文本到图像生成模型的训练，特别针对动漫和插画风格的图像生成任务。SANA VAE Latents — DC-AE f32c32 is a pre-computed VAE latent representation dataset specifically designed for training the NVLabs SANA model. It contains encoded latent representations of approximately 4.9 million anime and illustration images, with AI-generated artworks excluded. The data is stored in WebDataset format, where each sample includes a .npy file (storing fp16-precision latent vectors with shape [32, H/32, W/32]) and a .json file containing metadata such as prompts, width, height and other relevant information. The images were encoded using the DC-AE f32c32 autoencoder, adjusted with a scaling factor of 0.41407, and resized and center-cropped to the nearest 1024-pixel aspect ratio buckets. The dataset is sourced from three annotated datasets: gelbooru-darask, gelbooru-darask2 and danbooru-darask. Note that there are approximately 1.43 million overlapping IDs between gelbooru-darask and gelbooru-darask2, so deduplication is required before use. This dataset is suitable for training text-to-image generation models, particularly for anime and illustration style image generation tasks.

原始信息汇总

数据集概述：SANA VAE Latents — DC-AE f32c32

• 规模：约 490 万个独有样本（1M < n < 10M），原始数据存在约 143 万重复 ID，去重后得到约 490 万唯一潜变量。
• 内容结构：以 WebDataset .tar shard 格式存储，每个样本包含一对文件，通过源图像 ID 关联：
  • {id}.npy：VAE 潜变量，FP16 格式，形状为 [32, H/32, W/32]。
  • {id}.json：元数据，包含 file_name（指向 .npy）、prompt（图文描述）、width 和 height（桶尺寸）。
• 技术细节：
  • VAE 模型：使用 mit-han-lab/dc-ae-f32c32-sana-1.1-diffusers 的 DC-AE 自编码器。
  • 编码流程：图像先缩放并中心裁剪至最接近的 SANA 1024px 宽高比桶（ASPECT_RATIO_1024），然后编码并乘以缩放因子 0.41407。元数据中的 W 和 H 对应桶尺寸。
  • 图文描述：采用 NetaYume 风格的丰富描述，来自源数据集。
• 数据来源：动漫 / 插画图像（排除 AI 生成艺术），分别来自：
  • darask0/gelbooru-darask
  • darask0/gelbooru-darask2
  • darask0/danbooru-darask
• 去重提醒：gelbooru-darask 与 gelbooru-darask2 存在约 143 万重叠 ID，构建索引时需按 {id} 去重，保留每个 .npy 的唯一条目。
• 文件命名：Shard 文件名格式为 shard_s{k}of{N}_{NNNNNN}.tar，其中 k 为产生进程的工作器索引，所有 .tar 文件统一处理。
• 硬件生成：使用 RTX PRO 6000 GPU 集群计算。

搜集汇总

数据集介绍

构建方式

该数据集专为NVLabs SANA文本到图像模型训练而设计，预先计算了DC-AE自编码器的潜在表示。数据以WebDataset格式的.tar分片存储，每个样本对应一个源图像ID，包含一个fp16格式的VAE潜在张量（形状为[32, H/32, W/32]）和一个JSON元数据文件（内含文件名、描述文本、宽度和高度）。编码过程采用mit-han-lab/dc-ae-f32c32-sana-1.1-diffusers模型，图像被缩放并中心裁剪至最接近的SANA 1024像素纵横比桶，潜在表示通过乘以缩放因子0.41407得到。描述文本源自NetaYume风格，来自darask0/gelbooru-darask、darask0/gelbooru-darask2和darask0/danbooru-darask三个源数据集，仅包含带描述的动漫插画图像（排除AI生成内容）。

特点

该数据集的一大特点是其约490万张唯一样本的规模，通过跨分片去重实现。由于gelbooru-darask和gelbooru-darask2之间存在约143万个ID的重叠，构建索引时必须保留每个{id}的唯一条目。每个潜在表示都预先计算并存储为fp16格式，使训练过程可直接流式读取潜在张量，跳过实时VAE编码步骤，大幅提升训练效率。数据覆盖了丰富的动漫插画风格，描述文本细腻且具表现力。此外，宽度和高度信息反映了实际桶尺寸，确保了潜在张量的空间维度与图像尺寸一致。

使用方法

使用该数据集时，推荐通过WebDataset库加载.tar分片文件。分片名称采用统一的模式（如shard_s{k}of{N}_{NNNNNN}.tar），所有文件均按相同方式处理。加载后，每个样本可解析为npy文件和JSON元数据：使用numpy从二进制流加载潜在张量，并读取JSON中的描述、宽度和高度等信息。关键在于构建训练索引时，需以{id}为键进行去重，避免重复样本。数据集由RTX PRO 6000 GPU集群构建，确保编码质量。典型加载代码示例为：ds = wds.WebDataset(”shard_s0of16_000000.tar“).decode()，随后通过s[”npy“]和s[”json“]获取数据。

背景与挑战

背景概述

SANA VAE Latents数据集由英伟达（NVIDIA）与MIT-HAN实验室联合构建，于2024年发布，旨在为文本到图像生成模型SANA提供预编码的变分自编码器（VAE）潜在表示。该数据集聚焦于动漫与插画领域，包含约490万张经过DC-AE f32c32自动编码器处理的图像潜在张量，显著降低了训练过程中重复编码的计算开销。通过采用NetaYume风格的丰富字幕以及排除AI生成内容，数据集确保了高质量与领域专精性。其核心研究问题在于通过解耦编码与训练流程，提升大规模文本到图像模型的训练效率与可复现性。该数据集在动漫生成领域具有里程碑意义，为后续基于潜在扩散的模型训练提供了标准化基础设施。

当前挑战

该数据集面临的核心挑战包括领域问题与构建过程两方面。在领域问题层面，尽管潜在表示加速了训练，但DC-AE编码器的固定缩放因子（0.41407）与中心裁剪策略可能限制生成图像的多样性，尤其在非标准长宽比场景下表现欠佳；此外，数据仅覆盖动漫与插画风格，泛化到摄影或三维渲染等域时需额外适配。构建过程中，两大挑战突出：其一，来源数据集（gelbooru-darask与gelbooru-darask2）存在约143万条重叠ID，要求训练者在建立索引时执行严格去重，否则可能导致数据偏置与模型记忆效应；其二，编码过程严格依赖指定的大小桶（nearest SANA 1024px aspect bucket），引入的尺寸约束可能丢失原始图像的构图细节，影响下游生成质量。

常用场景

经典使用场景

在文本到图像生成领域，大型扩散模型的训练通常需要反复调用变分自编码器（VAE）对海量图像进行编码，这一过程不仅消耗大量计算资源，而且容易成为训练管道的瓶颈。SANA VAE Latents 数据集通过预先利用 DC-AE 编码器对约 4.9M 张动漫插画图像进行一次性编码，将原始图像映射为紧凑的 32 通道、空间维度降低 32 倍的潜变量，并以 WebDataset 分片格式存储，使得研究人员在训练 NVLabs SANA 等扩散模型时可以直接流式读取这些预计算好的潜编码，彻底跳过了实时 VAE 编码的步骤，极大提升了数据加载速度和训练效率。

解决学术问题

该数据集在学术上有效解决了扩散模型训练中因 VAE 编码反复计算带来的高延迟和显存开销问题，为大规模图像生成模型的快速迭代提供了可行性。同时，它衍生出对潜空间表达一致性的研究，即通过固定的缩放因子（0.41407）和统一的长宽比桶对齐策略，确保不同来源的动漫图像经过编码后潜变量的分布具有对齐性，进而提升了模型对多样化视觉特征的泛化能力。这推动了学术领域对高效潜编码数据预处理流水线的标准化探索。

衍生相关工作

该数据集的出现催生了一系列相关经典工作：一方面，研究者基于其潜编码方案优化了 DC-AE 的架构，衍生出适应不同分辨率桶的变体编码器；另一方面，数据集中使用的 NetaYume 风格详细描述文本促进了图文对齐模型在动漫领域的微调研究。此外，针对数据去重后约 4.9M 样本的规模，学界随之开展了小样本潜空间自适应和增量学习方法的工作，探索如何利用此类预编码数据高效迁移至下游任务。