EditGarment

EditGarment 是一个基于指令的服装编辑数据集，旨在满足时尚设计的实际需求。该数据集包含 20,596 个高质量的服装图像编辑三元组，涵盖六种常见的编辑类型：对象移除、对象替换、对象添加、材质替换、颜色更改和结构更改。数据集的创建过程是自动化的，利用 MLLM 技术生成编辑指令和图像，并通过 Fashion Edit Score (FEditScore) 评估机制保证生成的数据质量。EditGarment 数据集可以应用于时尚设计、定制和电子商务等领域，为开发稳健的服装编辑模型提供支持。

EditGarment is an instruction-based garment editing dataset designed to meet the practical demands of fashion design. This dataset contains 20,596 high-quality garment image editing triplets, covering six common editing types: object removal, object replacement, object addition, material replacement, color modification, and structural modification. The dataset is constructed through an automated pipeline, which leverages MLLM technology to generate editing instructions and images, and ensures the quality of the generated data via the Fashion Edit Score (FEditScore) evaluation mechanism. The EditGarment dataset can be applied in fields such as fashion design, customization and e-commerce, providing support for the development of robust garment editing models.

原始信息汇总

EditGarment: 基于指令的服装编辑数据集

数据集概述

• 名称: EditGarment
• 类型: 基于指令的独立服装编辑数据集
• 规模: 20,596个高质量指令-图像三元组
• 构建方法: 自动化MLLM合成与语义感知评估
• 应用领域: 时尚设计与定制
• 论文会议: ACM MM 2025
• arXiv链接: https://arxiv.org/abs/2508.03497

核心特点

1. 指令分类: 定义6个与真实时尚工作流程一致的编辑指令类别
2. 评估指标: 提出Fashion Edit Score，捕捉服装属性间的语义依赖关系
3. 数据质量: 从52,257个候选三元组中筛选出20,596个高质量样本

构建流程

1. 数据生成: 使用Qwen-VL模型生成编辑三元组
2. 质量评估: 通过依赖图结构定量评估生成数据质量
3. 筛选标准: 得分超过预设阈值的数据纳入最终数据集

作者信息

• 单位:
  • 西交利物浦大学
  • 宁波理工学院
  • 浙江大学
• 贡献:
  • Deqiang Yin*
  • Junyi Guo*
  • Huanda Lu
  • Fangyu Wu†
  • Dongming Lu
• (*Equal Contribution, †Corresponding Author)

引用格式

bibtex @misc{yin2025editgarmentinstructionbasedgarmentediting, title={EditGarment: An Instruction-Based Garment Editing Dataset Constructed with Automated MLLM Synthesis and Semantic-Aware Evaluation}, author={Deqiang Yin and Junyi Guo and Huanda Lu and Fangyu Wu and Dongming Lu}, year={2025}, eprint={2508.03497}, archivePrefix={arXiv}, primaryClass={cs.CV}, url={https://arxiv.org/abs/2508.03497}, }

搜集汇总

数据集介绍

构建方式

EditGarment数据集的构建采用了自动化多模态大语言模型（MLLM）合成与语义感知评估相结合的创新方法。研究团队首先从真实服装数据集MMDGarment中选取基础图像，通过Qwen-VL模型生成包含原始描述、编辑指令和编辑后描述的文本三元组，覆盖对象增删改、材质替换、色彩调整和结构改造六种专业设计需求。随后利用Gemini-2.0-Flash生成对应编辑图像，并通过独创的Fashion Edit Score评估体系进行质量过滤，该体系基于语义依赖图构建层次化问题网络，通过视觉问答验证编辑指令的语义一致性，最终从52,257个候选样本中精选出20,596个高质量三元组。

特点

该数据集具有鲜明的领域专业性与技术先进性：作为首个专注于独立服装编辑的指令数据集，其六类编辑操作完全匹配时尚设计工作流，如袖口结构改造、面料材质替换等专业需求。样本分辨率均保持512×512以上，编辑指令平均包含10个精准控制词汇，配合29词的原描述和31词的编辑后描述构成完整语义闭环。特别值得注意的是，通过FEditScore评估机制，数据集在保持颜色、纹理等底层视觉特征一致性的同时，更确保了领型、装饰元素等高层语义属性的精确对应，解决了传统编辑数据集中细节失真和语义漂移的痛点。

使用方法

该数据集主要服务于服装设计领域的多模态研究，使用者可通过加载标准化的图像-文本三元组进行端到端模型训练。在具体应用中，建议采用两阶段流程：首先利用原始描述和编辑指令训练指令解析模块，再结合编辑图像微调生成模型。实验表明，基于该数据集微调的InstructPix2Pix模型在FEditScore指标上提升34.3%，特别擅长处理'将圆领改为V领'等结构化修改。对于学术研究，推荐配合提供的语义依赖图工具进行细粒度结果分析；工业应用时，可重点参考材质替换类样本优化虚拟样衣系统。注意处理专业术语时需结合时尚知识图谱以提升模型理解精度。

背景与挑战

背景概述

EditGarment数据集由西安利物浦大学、宁波理工学院和浙江大学的研究团队于2025年联合发布，是首个专注于基于指令的服装编辑任务的多模态数据集。该数据集包含20,596组高质量的三元组（原始图像、编辑指令、编辑后图像），涵盖六种专业服装设计操作类型，包括物体添加/移除/替换、材质替换、色彩调整和结构修改。其创新性地采用自动化MLLM合成流水线，结合时尚领域专属的Fashion Edit Score评估机制，填补了服装细粒度编辑数据资源的空白，为AI驱动的时尚设计自动化提供了关键基础设施。

当前挑战

构建EditGarment面临双重挑战：在领域问题层面，服装编辑需解决细粒度语义理解难题，如处理'将棉质改为丝绸'等专业术语的跨模态对齐，以及保持未修改区域（如袖口褶皱）的视觉一致性；在构建过程层面，MLLM生成存在长尾分布偏差，罕见编辑类型（如特殊面料替换）覆盖率不足，且传统评估指标（CLIP相似度）无法捕捉袖长变化与领型保留等服装特有的语义依赖关系。数据集通过定义六类编辑模板和构建语义依赖图谱，有效缓解了这些挑战。

常用场景

经典使用场景

EditGarment数据集在服装图像编辑领域具有广泛的应用价值，尤其在时尚设计和定制化方面表现突出。该数据集通过自然语言指令实现对服装图像的精确修改，涵盖了六种常见的编辑类型，包括对象添加、对象移除、对象替换、颜色更改、材料替换和结构修改。这些编辑类型直接对应了时尚设计师在实际工作中的常见需求，使得该数据集成为研究指令驱动图像编辑任务的理想选择。

衍生相关工作

EditGarment数据集已经衍生出多个相关研究工作，其中最典型的是基于InstructPix2Pix模型的改进版本。研究人员利用该数据集对基础模型进行微调，显著提升了模型在服装编辑任务上的性能。此外，该数据集还启发了针对时尚领域特定术语和细节保持机制的研究，为解决扩散模型在细粒度编辑中的局限性提供了新的思路。

数据集最近研究

最新研究方向

随着生成式人工智能技术的迅猛发展，基于指令的图像编辑在时尚设计领域展现出巨大潜力。EditGarment数据集的推出填补了服装编辑任务中高质量多模态数据的空白，其创新性地采用自动化MLLM合成与语义感知评估相结合的构建方法，为时尚领域带来了突破性的研究工具。该数据集当前正推动三个前沿方向：一是探索跨模态大语言模型在细粒度服装属性编辑中的应用，如面料替换、结构修改等专业设计需求；二是开发面向时尚领域的语义感知评估体系，通过Fashion Edit Score等创新指标解决传统评估方法在服装语义依赖性上的不足；三是研究自动化数据合成技术在垂直领域的优化路径，特别是针对长尾服装属性和复杂设计指令的处理能力。这些研究方向与虚拟试衣、个性化定制等产业热点高度契合，为降低设计成本、加速产品迭代提供了技术支撑。

相关研究论文

• EditGarment: An Instruction-Based Garment Editing Dataset Constructed with Automated MLLM Synthesis and Semantic-Aware Evaluation

  西安交通大学利物浦大学 · 2025年