HuggingFace-CN-community/Diffusion-book-cn

# 《从零开始学扩散模型》

## 术语表

| 词汇 | 翻译 |
| :---------------------- | :--- |
| Corruption Process | 退化过程 |
| Pipeline | 管线 |
| Timestep | 时间步 |
| Scheduler | 调度器 |
| Gradient Accumulation | 梯度累加 |
| Fine-Tuning | 微调 |
| Guidance | 引导 |
# 目录

## 第一部分 基础知识

### 第一章 扩散模型的原理、发展和应用

#### 1.1 扩散模型的原理
#### 1.2 扩散模型的发展
#### 1.3 扩散模型的应用

### 第二章 HuggingFace介绍与环境准备

#### 2.1 HuggingFace Space
#### 2.2 Transformer 与 diffusers 库
#### 2.3 环境准备

## 第二部分 扩散模型实战

### 第三章 从零开始做扩散模型

#### 3.1 章节概述
#### 3.2 环境准备
#### 3.2.1 环境的创建与导入
#### 3.2.2 数据集测试
#### 3.3 扩散模型-退化过程
#### 3.4 扩散模型训练
#### 3.4.1 Unet模型
#### 3.4.2 开始训练模型
#### 3.5 扩散模型-采样（取样）过程
#### 3.5.1 采样（取样）过程
#### 3.5.2 与DDPM的区别
#### 3.5.3 UNet2DModel模型
#### 3.6 扩散模型-退化过程示例
#### 3.6.1 退化过程
#### 3.6.2 最终的训练目标
#### 3.7 拓展知识
#### 3.7.1 迭代周期（Timestep）的调节
#### 3.7.2 采样（取样）的关键问题
#### 3.8 本章小结

### 第四章 Diffusers实战
#### 4.1 章节概述
#### 4.2 环境准备
#### 4.2.1 安装Diffusers库
#### 4.2.2 Dreambooth-全新的扩散模型
#### 4.2.3 Diffusers核心API
#### 4.3 实战：生成美丽的蝴蝶图片
#### 4.3.1 下载蝴蝶图像集
#### 4.3.2 扩散模型-调度器
#### 4.3.3 定义扩散模型
#### 4.3.4 创建扩散模型训练循环
#### 4.3.5 图像的生成
#### 4.4 拓展知识
#### 4.4.1 将模型上传到Hub上
#### 4.4.2 扩大训练模型的规模
#### 4.5 本章小结

### 第五章 微调和引导
#### 5.1 章节概述
#### 5.2 环境准备
#### 5.3 载入一个预训练过的管线
#### 5.4 DDIM-更快的采样过程
#### 5.5 扩散模型-微调
#### 5.5.1 实战：微调
#### 5.5.2 使用最小化样例脚本微调模型
#### 5.5.3 保存和载入微调过的管线
#### 5.6 扩散模型-引导
#### 5.6.1 实战：引导
#### 5.6.2 CLIP 引导
#### 5.7 分享你的自定义采样训练
#### 5.7.1 环境准备
#### 5.7.2 创建一个以类别为条件的UNet
#### 5.7.3 训练与采样
#### 5.8 本章小结
#### 5.9 实战：创建一个类别条件扩散模型

### 第六章 Stable Diffusion
#### 6.1 章节概述
#### 6.2 环境准备
#### 6.3 从文本生成图像
#### 6.4 Stable Diffusion Pipeline
#### 6.4.1 可变分自编码器(VAE)
#### 6.4.2 分词器(Tokenizer)和文本编码器(Text Encoder)
#### 6.4.3 UNet
#### 6.4.4 调度器(Scheduler)
#### 6.4.5 DIY一个采样循环
#### 6.5 其他管线介绍
#### 6.5.1 Img2Img
#### 6.5.2 In-Painting
#### 6.5.3 Depth2Image
#### 6.5.4 拓展：管理你的模型缓存
#### 6.6 本章小结

### 第七章 DDIM反转与ControlNet
#### 7.1 本章概述
#### 7.2 实战：反转
#### 7.2.1 设置
#### 7.2.2 加载一个已训练的管道
#### 7.2.3 DDIM采样
#### 7.2.4 反转
#### 7.3 组合封装
#### 7.4 DDIM小结
#### 7.5 ControlNet的结构与训练过程
#### 7.6 ControlNet示例
#### 7.7 ControlNet实战

### 第八章 音频扩散模型
#### 8.1 本章概述
#### 8.2 实战：音频扩散模型
#### 8.2.1 设置与导入
#### 8.2.2 从预先训练的音频管道采样
#### 8.2.3 从音频到频谱的转换
#### 8.2.4 微调管道
#### 8.2.5 循环训练
#### 8.3 将模型上传到Hub上
#### 8.4 本章小结

## 附录 精美图像集展示

# Learn Diffusion Models from Scratch

## Glossary

| Term | Translation |
| :---------------------- | :--- |
| Corruption Process | Degradation Process |
| Pipeline | Pipeline |
| Timestep | Timestep |
| Scheduler | Scheduler |
| Gradient Accumulation | Gradient Accumulation |
| Fine-Tuning | Fine-Tuning |
| Guidance | Guidance |

# Table of Contents

## Part I: Fundamentals

### Chapter 1: Principles, Development and Applications of Diffusion Models

#### 1.1 Principles of Diffusion Models
#### 1.2 Development of Diffusion Models
#### 1.3 Applications of Diffusion Models

### Chapter 2: Introduction to HuggingFace and Environment Setup

#### 2.1 HuggingFace Space
#### 2.2 Transformer and diffusers Library
#### 2.3 Environment Setup

## Part II: Practical Diffusion Model Development

### Chapter 3: Building a Diffusion Model from Scratch

#### 3.1 Chapter Overview
#### 3.2 Environment Setup
#### 3.2.1 Environment Creation and Import
#### 3.2.2 Dataset Testing
#### 3.3 Diffusion Model - Degradation Process
#### 3.4 Diffusion Model Training
#### 3.4.1 UNet Model
#### 3.4.2 Start Model Training
#### 3.5 Diffusion Model - Sampling Process
#### 3.5.1 Sampling Process
#### 3.5.2 Differences from DDPM
#### 3.5.3 UNet2DModel Model
#### 3.6 Degradation Process Examples for Diffusion Models
#### 3.6.1 Degradation Process
#### 3.6.2 Final Training Objective
#### 3.7 Extended Knowledge
#### 3.7.1 Timestep Adjustment
#### 3.7.2 Key Issues in Sampling
#### 3.8 Chapter Summary

### Chapter 4: Diffusers Practical Operations

#### 4.1 Chapter Overview
#### 4.2 Environment Setup
#### 4.2.1 Installing the Diffusers Library
#### 4.2.2 DreamBooth - A New Type of Diffusion Model
#### 4.2.3 Core APIs of Diffusers
#### 4.3 Practical Exercise: Generate Beautiful Butterfly Images
#### 4.3.1 Download Butterfly Image Dataset
#### 4.3.2 Diffusion Model - Scheduler
#### 4.3.3 Define the Diffusion Model
#### 4.3.4 Create Diffusion Model Training Loop
#### 4.3.5 Image Generation
#### 4.4 Extended Knowledge
#### 4.4.1 Upload the Model to the Hugging Face Hub
#### 4.4.2 Scale Up Training Model Size
#### 4.5 Chapter Summary

### Chapter 5: Fine-Tuning and Guidance

#### 5.1 Chapter Overview
#### 5.2 Environment Setup
#### 5.3 Load a Pre-trained Pipeline
#### 5.4 DDIM - Faster Sampling Process
#### 5.5 Diffusion Model - Fine-Tuning
#### 5.5.1 Practical Exercise: Fine-Tuning
#### 5.5.2 Fine-Tune the Model Using Minimal Example Scripts
#### 5.5.3 Save and Load Fine-Tuned Pipelines
#### 5.6 Diffusion Model - Guidance
#### 5.6.1 Practical Exercise: Guidance
#### 5.6.2 CLIP Guidance
#### 5.7 Share Your Custom Sampling Training
#### 5.7.1 Environment Setup
#### 5.7.2 Create a Class-Conditioned UNet
#### 5.7.3 Training and Sampling
#### 5.8 Chapter Summary
#### 5.9 Practical Exercise: Create a Class-Conditioned Diffusion Model

### Chapter 6: Stable Diffusion

#### 6.1 Chapter Overview
#### 6.2 Environment Setup
#### 6.3 Text-to-Image Generation
#### 6.4 Stable Diffusion Pipeline
#### 6.4.1 Variational Autoencoder (VAE)
#### 6.4.2 Tokenizer and Text Encoder
#### 6.4.3 UNet
#### 6.4.4 Scheduler
#### 6.4.5 DIY a Sampling Loop
#### 6.5 Introduction to Other Pipelines
#### 6.5.1 Img2Img
#### 6.5.2 In-Painting
#### 6.5.3 Depth2Image
#### 6.5.4 Extension: Manage Your Model Cache
#### 6.6 Chapter Summary

### Chapter 7: DDIM Inversion and ControlNet

#### 7.1 Chapter Overview
#### 7.2 Practical Exercise: Inversion
#### 7.2.1 Setup
#### 7.2.2 Load a Pre-trained Pipeline
#### 7.2.3 DDIM Sampling
#### 7.2.4 Inversion
#### 7.3 Combined Packaging
#### 7.4 DDIM Summary
#### 7.5 Structure and Training Process of ControlNet
#### 7.6 ControlNet Examples
#### 7.7 ControlNet Practical Operations

### Chapter 8: Audio Diffusion Models

#### 8.1 Chapter Overview
#### 8.2 Practical Exercise: Audio Diffusion Model
#### 8.2.1 Setup and Import
#### 8.2.2 Sampling from Pre-trained Audio Pipelines
#### 8.2.3 Audio-to-Spectrum Conversion
#### 8.2.4 Fine-Tune the Pipeline
#### 8.2.5 Training Loop
#### 8.3 Upload the Model to the Hugging Face Hub
#### 8.4 Chapter Summary

## Appendix: Gallery of Exquisite Images

原始信息汇总

数据集概述

数据集内容

• 第三章 从零开始做扩散模型

  • 数据集测试
  • 扩散模型-退化过程
  • 扩散模型训练
  • 扩散模型-采样（取样）过程
  • 扩散模型-退化过程示例

• 第四章 Diffusers实战

  • 下载蝴蝶图像集
  • 扩散模型-调度器
  • 定义扩散模型
  • 创建扩散模型训练循环
  • 图像的生成

• 第五章 微调和引导

  • 实战：微调
  • 实战：引导
  • 创建一个以类别为条件的UNet
  • 训练与采样

• 第六章 Stable Diffusion

  • 从文本生成图像
  • Stable Diffusion Pipeline
  • 其他管线介绍

• 第七章 DDIM反转与ControlNet

  • 实战：反转
  • 加载一个已训练的管道
  • DDIM采样
  • 反转
  • ControlNet的结构与训练过程
  • ControlNet示例
  • ControlNet实战

• 第八章 音频扩散模型

  • 从预先训练的音频管道采样
  • 从音频到频谱的转换
  • 微调管道
  • 循环训练

数据集应用

• 扩散模型的训练与测试
• 图像生成与微调
• 音频扩散模型的训练与微调
• 文本到图像的生成
• 扩散模型的实战应用

搜集汇总

背景与挑战

背景概述

该数据集是一个中文扩散模型学习资源，由HuggingFace-CN-community组织提供，包含图像模态数据，规模较小（167行，89.9 MB）。数据集配套《从零开始学扩散模型》的详细目录，涵盖扩散模型的基础原理、实战应用（如Diffusers、Stable Diffusion、ControlNet）等内容，旨在支持扩散模型的理论学习和实践操作。