X-Fun-Images-Controls-Demo
收藏资源简介：
# X-Fun-Images-Controls-Demo ## 目录 - [数据集简介](#数据集简介) - [数据集结构](#数据集结构) - [数据说明](#数据说明) - [数据处理脚本](#数据处理脚本) - [使用方法](#使用方法) - [注意事项](#注意事项) - [相关项目](#相关项目) ## 数据集简介 这是一个用于 **VideoX-Fun** 项目的 Canny Control 图像训练演示数据集，包含19张训练图片及其对应的 Canny 边缘检测图像，适用于图像控制生成模型（ControlNet）的训练和测试。 ## 数据集结构 ``` X-Fun-Images-Controls-Demo/ ├── train/ # 原始训练图片目录 │ ├── 00031-3640797216.png # 训练图片 (832x624) │ ├── 00032-3838108680.png │ └── ... (共19张图片) ├── canny/ # Canny 边缘检测图像目录 │ ├── 00031-3640797216.png # Canny 控制图像 │ ├── 00032-3838108680.png │ └── ... (共19张图片) ├── metadata.json # 数据集信息（基础版，包含控制文件路径） ├── metadata_add_width_height.json # 数据集信息（包含宽高信息） ├── metadata_origin.json # 原始数据集信息 ├── process_json_add_width_and_height.py # 为元数据添加图片宽高信息 ├── process_images_canny.py # 生成 Canny 边缘检测图像的脚本 ├── .gitattributes # Git LFS 配置文件 └── README.md # 本文件 ``` ## 数据说明 ### 图片信息 - **数量**: 19张训练图片 + 19张对应的 Canny 边缘检测图像 - **格式**: PNG - **分辨率**: 832 x 624 (高 x 宽) - **内容**: 人物肖像图片，包含详细的标签描述 - **控制类型**: Canny 边缘检测（用于 ControlNet 训练） ### 数据集组成 #### train/ 目录 原始训练图片，用于模型学习生成目标图像。 #### canny/ 目录 Canny 边缘检测图像，作为控制条件输入到 ControlNet 模型中，引导模型按照边缘结构生成图像。 ### 标签描述 所有图片均使用统一的标签格式，包含以下特征： - 人物外貌特征（发型、眼睛颜色、配饰） - 场景环境（背景、光线） - 姿态描述（注视方向、上半身） ### 元数据文件 #### metadata_origin.json 原始版本的元数据文件，仅包含基础信息。 #### metadata.json 基础版本的元数据文件，包含： - `file_path`: 原始图片文件路径（train/目录） - `text`: 图片标签描述 - `type`: 数据类型（image） - `control_file_path`: Canny 控制图像文件路径（canny/目录） #### metadata_add_width_height.json 增强版本的元数据文件，额外包含： - `height`: 图片高度（832） - `width`: 图片宽度（624） ## 数据处理脚本 本数据集提供两个 Python 脚本，用于数据预处理。 ### process_images_canny.py 从原始训练图片生成 Canny 边缘检测图像，保存到 canny/ 目录，并生成包含 `control_file_path` 的元数据文件。 ```bash python datasets/X-Fun-Images-Controls-Demo/process_images_canny.py \ --input_file datasets/X-Fun-Images-Controls-Demo/metadata_origin.json \ --output_dir datasets/X-Fun-Images-Controls-Demo/canny \ --output_file datasets/X-Fun-Images-Controls-Demo/metadata.json \ --base_dir datasets/X-Fun-Images-Controls-Demo/ \ --num_workers 4 \ --seed 42 ``` **参数说明:** - `--input_file`: 输入的元数据 JSON 文件（包含 file_path） - `--output_dir`: Canny 图像输出目录 - `--output_file`: 输出的元数据 JSON 文件（包含 control_file_path） - `--base_dir`: 基础目录，用于生成相对路径 - `--num_workers`: 并行处理的 worker 数量 - `--seed`: 随机种子（可选，用于复现结果） **注意:** Canny 参数（low_threshold, high_threshold, blur_kernel）是随机生成的，以增强数据多样性。 ### process_json_add_width_and_height.py 读取图片文件的分辨率,在元数据 JSON 中添加 `width` 和 `height` 字段。 ```bash python datasets/X-Fun-Images-Controls-Demo/process_json_add_width_and_height.py \ --input_file datasets/X-Fun-Images-Controls-Demo/metadata.json \ --output_file datasets/X-Fun-Images-Controls-Demo/metadata_add_width_height.json \ --base_dir datasets/X-Fun-Images-Controls-Demo/ \ --num_processes 4 ``` **参数说明:** - `--input_file`: 输入的元数据 JSON 文件 - `--output_file`: 输出的元数据 JSON 文件（包含 width 和 height 字段） - `--base_dir`: 基础目录,用于解析相对路径 - `--num_processes`: 并行处理的进程数量（默认使用 CPU 核心数） ## 使用方法 克隆数据集到VideoX-Fun的datasets文件夹。 ```bash modelscope download --dataset PAI/X-Fun-Images-Controls-Demo --local_dir ./datasets/X-Fun-Images-Controls-Demo ``` 在 VideoX-Fun 的配置文件中指定数据集路径： ```bash export DATASET_NAME="datasets/X-Fun-Images-Controls-Demo" export DATASET_META_NAME="datasets/X-Fun-Images-Controls-Demo/metadata_add_width_height.json" NCCL_DEBUG=INFO ``` ## 注意事项 - 本数据集仅用于演示和测试目的 - 推荐使用 `metadata_add_width_height.json` 以获取完整的图片尺寸信息 ## 相关项目 - [VideoX-Fun](https://github.com/aigc-apps/VideoX-Fun)
