Art-free SAM

Art-free SAM 数据集是从SA-1B数据集中提取的，包含了图像和对应的标注文本。该数据集用于训练和评估艺术生成模型，特别是在没有艺术知识的情况下生成艺术作品。

The Art-free SAM Dataset is extracted from the SA-1B dataset, which contains images and their corresponding annotation texts. This dataset is designed for training and evaluating art generation models, especially for generating artworks without relying on specialized art knowledge.

原始信息汇总

Art-Free Generative Models: Art Creation Without Graphic Art Knowledge

数据集概述

该数据集包含多个子数据集，用于支持艺术生成模型的训练和推理。主要数据集包括：

Art-free SAM

• 来源: SA-1B 数据集和 SAM-LLaVA-Captions10M 数据集。

• 结构:

  sam_dataset ├── captions │ ├── 0.txt │ ├── 1.txt │ └── ... ├── images │ ├── sa_000000 │ ├── 0.jpg │ ├── 1.jpg │ └── ... │ ├── sa_000001 │ ├── 0.jpg │ ├── 1.jpg │ └── ... │ ├── ... │ └── sa_000999 └──

• 下载: shell cd data python download.py filtered_sam cd ..

Artistic Style Dataset

• 来源: 从 WikiArt 获取的艺术风格数据集。
• 下载: shell cd data python download.py -d art_styles cd ..

Laion-pop500

• 来源: 包含 500 张带注释的图像。
• 下载: shell cd data python download.py -d laion_pop500 cd ..

模型训练与推理

训练艺术适配器

• 命令: shell python train_artistic.py --style_folder <style_folder> --save_path <save_path>

• 示例: shell python train_artistic.py --style_folder data/Art_styles/andre-derain/fauvism/subset1 --save_path <save_path>

推理与生成

• 命令: shell python inference.py --lora_weights <lora_location> --from_scratch --start_noise -1 --infer_prompts <prompts-or-file> --save_dir <save_location>

• 示例: shell python inference.py --lora_weights <lora_location> --from_scratch --start_noise -1 --infer_prompts "Sunset over the ocean with waves and rocks" --save_dir <save_location>

引用

bibtex @misc{ren2024art-free, title={Art-Free Generative Models: Art Creation Without Graphic Art Knowledge}, author={Hui Ren and Joanna Materzynska and Rohit Gandikota and David Bau and Antonio Torralba}, year={2024}, eprint={2412.00176}, archivePrefix={arXiv}, primaryClass={cs.CV}, url={https://arxiv.org/abs/2412.00176}, }

搜集汇总

数据集介绍

构建方式

Art-free SAM数据集的构建基于SA-1B数据集和SAM-LLaVA-Captions10M数据集。首先，从SA-1B数据集中提取图像数据，并保持原有的文件夹结构。随后，从SAM-LLaVA-Captions10M数据集中提取文本描述，并将其与图像数据进行匹配。通过这种方式，数据集不仅包含了丰富的图像信息，还附带有详细的文本描述，为后续的艺术生成模型提供了坚实的基础。

特点

Art-free SAM数据集的显著特点在于其独特的构建方式，即通过非艺术领域的数据来生成艺术作品。这种设计使得模型能够在不依赖传统艺术知识的情况下，生成具有艺术风格的作品。此外，数据集中的图像与文本描述紧密结合，为模型提供了多模态的学习材料，增强了模型的表现力和创造力。

使用方法

使用Art-free SAM数据集时，首先需要下载并解压原始数据集，确保文件夹结构完整。随后，用户可以通过指定的Python脚本进行数据集的加载和处理。数据集支持多种艺术风格的生成和图像风格化，用户可以通过调整参数来控制生成效果。此外，数据集还提供了预训练的艺术适配器，用户可以直接使用这些适配器进行艺术创作，或根据需要训练新的适配器。

背景与挑战

背景概述

Art-free SAM数据集由Hui Ren、Joanna Materzynska、Rohit Gandikota、David Bau和Antonio Torralba等研究人员于2024年创建，旨在探索在没有图形艺术知识的情况下生成艺术作品的可能性。该数据集的核心研究问题是如何在不依赖艺术相关内容训练的情况下，通过文本到图像生成模型创造出具有艺术风格的作品。研究团队设计了一种跳过艺术相关内容训练的生成模型，并通过开发艺术适配器来学习艺术风格。这一研究不仅揭示了艺术生成的新途径，还展示了非艺术数据在艺术风格形成中的潜在贡献，对艺术生成领域具有重要影响。

当前挑战

Art-free SAM数据集在构建过程中面临多重挑战。首先，如何在不依赖艺术数据的情况下生成具有艺术风格的作品是一个技术难题。其次，开发艺术适配器时，如何通过少量示例有效学习艺术风格也是一个关键挑战。此外，数据集的构建涉及从非艺术数据中提取艺术特征，这需要高效的算法和模型。最后，确保生成的艺术作品在用户评价中与传统艺术模型生成的作品相当，也是一项重要的验证挑战。这些挑战不仅推动了艺术生成技术的发展，也为未来的研究提供了新的方向。

常用场景

经典使用场景

在艺术生成领域，Art-free SAM数据集的经典使用场景主要集中在文本到图像的生成任务中。该数据集通过不依赖于艺术相关内容的训练，实现了艺术风格的生成。具体而言，研究者可以利用Art-free SAM数据集训练艺术适配器，从而在少量示例的基础上学习并生成特定艺术风格的作品。这种创新方法不仅降低了艺术生成的门槛，还为艺术创作提供了新的可能性。

衍生相关工作

Art-free SAM数据集的发布催生了多项相关研究工作。例如，有研究者基于该数据集开发了新的艺术风格迁移算法，能够在保留原始图像内容的同时，赋予其新的艺术风格。此外，还有研究探讨了如何利用该数据集进行跨模态的艺术生成，如将文本描述转化为音乐作品。这些衍生工作不仅丰富了艺术生成领域的研究内容，还推动了相关技术的实际应用。

数据集最近研究

最新研究方向

在艺术生成领域，Art-free SAM数据集的最新研究方向聚焦于探索无需图形艺术知识的文本到图像生成模型。该研究通过设计一个不依赖艺术相关内容训练的生成模型，并开发了一种简单的‘艺术适配器’方法，仅使用少量示例学习艺术风格。实验结果表明，这种生成的艺术作品在用户评价中与传统大规模艺术数据集训练的模型作品相当。此外，通过数据归属技术，研究揭示了艺术和非艺术数据集在创造新艺术风格中的贡献，为艺术生成领域提供了新的视角和方法。