yandex/alchemist

Alchemist是一个包含3350个图像-文本对的紧凑型高质量数据集，旨在用于监督微调（SFT）预训练的文本到图像（T2I）生成模型。该数据集的主要目标是显著提高T2I模型在生成质量（特别是美学吸引力和图像复杂性）方面的表现，同时保留内容、构成和风格的原有多样性。

Alchemist is a compact, high-quality dataset comprising 3,350 image-text pairs, meticulously curated for supervised fine-tuning (SFT) of pre-trained text-to-image (T2I) generative models. The primary goal of Alchemist is to significantly enhance the generative quality (particularly aesthetic appeal and image complexity) of T2I models while preserving their inherent diversity in content, composition, and style.

搜集汇总

数据集介绍

构建方式

在文本到图像生成模型的监督微调领域，构建一个兼具高质量与高效性的数据集至关重要。Alchemist数据集从约100亿张网络抓取图像中，历经多阶段精细筛选而成。首先采用图像优先的预处理策略，依次进行安全过滤、分辨率筛选、粗粒度质量评估及去重操作，并借助TOPIQ无参考图像质量评估模型，将图像规模压缩至约3亿张。随后，创新性地利用预训练扩散模型作为质量评估器，通过提取图像-文本对在特定多关键词提示下的交叉注意力激活，甄别出最具视觉吸引力与微调潜力的样本。最终，对精选出的3350张图像重新生成适度描述性、贴近真实用户风格的提示词，形成本数据集。

特点

Alchemist数据集的核心优势在于其高度浓缩的样本质量与微调效率。仅含3350个样本的紧凑规模，却能在保持文本到图像模型内容、构图与风格多样性的前提下，显著提升生成图像的审美吸引力与视觉复杂度。其构建方法的独特之处在于摒弃传统文本优先过滤思路，转而以扩散模型作为质量导向的筛选核心，确保了所选图像-文本对具备最大化监督微调性能提升的稀有组合特性。此外，精心设计的用户风格提示词替代了冗长描述，进一步优化了微调效果。

使用方法

Alchemist数据集专为文本到图像生成模型的监督微调而设计，已在五种Stable Diffusion架构（SD1.5、SD2.1、SDXL、SD3.5 M及SD3.5 L）上验证其有效性。用户可通过HuggingFace的datasets库便捷加载，仅需一行代码即可获取训练集：from datasets import load_dataset; dataset = load_dataset("yandex/alchemist", split="train")。每个样本包含唯一哈希标识的img_key、图像下载链接url及用户风格的合成提示词prompt，可直接用于模型微调训练，无需额外预处理。

背景与挑战

背景概述

在文本到图像生成模型的研究中，监督微调（SFT）是提升生成质量的关键环节，然而现有方法多依赖海量数据或粗糙过滤，难以兼顾效率与性能。Alchemist数据集由Yandex团队于2025年创建，旨在解决这一核心矛盾，其研究成果发表于论文《Alchemist: Turning Public Text-to-Image Data into Generative Gold》。该数据集仅包含3,350个精心筛选的图像-文本对，却能在多个Stable Diffusion架构（如SD1.5、SDXL、SD3.5）中显著增强生成图像的美学吸引力和复杂度，同时保持内容、构图与风格的多样性。这一开创性工作挑战了“大数据即高性能”的传统范式，为资源受限场景下的生成模型优化提供了新路径，对推动高效、高质量的文本到图像生成研究具有重要影响力。

当前挑战

Alchemist数据集所解决的领域挑战在于，现有SFT数据集构建方法要么依赖超大规模数据（如数十亿图像）导致计算成本高昂，要么采用粗粒度过滤策略，无法精准筛选出对微调性能提升最大的样本，从而限制了生成模型在美学和复杂度上的表现。在构建过程中，团队面临多重技术挑战：首先，从约100亿网络图像中去除安全风险、低分辨率、水印和模糊内容，需高效且鲁棒的过滤算法；其次，核心创新——利用预训练扩散模型作为质量评估器，需设计多关键词提示并提取交叉注意力激活，以识别兼具视觉吸引力与微调潜力的稀有样本，这一过程计算复杂且需精细调参；最后，对最终选定的3,350张图像进行重写描述时，需生成中等详细度、类似用户风格的提示词，而非详尽描述，这对提示生成策略提出了独特要求。

常用场景

经典使用场景

在文本到图像生成模型的研发进程中，Alchemist数据集被广泛应用于监督式微调阶段，旨在提升预训练模型的美学表现与图像复杂度，同时保持其在内容、构图与风格上的多样性。该数据集仅包含3,350个高质量图像-文本对，却能在多种Stable Diffusion架构（如SD1.5、SDXL、SD3.5等）上显著改善生成质量，成为高效微调资源中的典范。

解决学术问题

Alchemist数据集的核心贡献在于解决了大规模监督微调数据集中样本选择效率低下的学术难题。传统方法依赖海量数据或简单过滤，难以精准筛选出对微调性能提升最大的样本。本研究通过引入扩散模型引导的质量估计方法，结合多阶段图像筛选与用户化重描述，实现了以极小数据规模获得卓越生成效果的突破，为数据高效微调提供了新的理论框架与实践路径。

衍生相关工作

Alchemist数据集的提出催生了一系列相关研究工作，包括基于扩散模型内部激活特征的质量评估方法、多阶段图像筛选流水线设计、以及用户化提示生成策略的深入探索。此外，其公开的代码与数据集为后续研究提供了可复现的基准，激励了学术界在数据高效微调、文本-图像对齐优化等方向上的新尝试，推动了生成模型从“大而全”向“精而优”的范式转变。