EditGarment

EditGarment 是一个基于指令的服装编辑数据集，旨在满足时尚设计的实际需求。该数据集包含 20,596 个高质量的服装图像编辑三元组，涵盖六种常见的编辑类型：对象移除、对象替换、对象添加、材质替换、颜色更改和结构更改。数据集的创建过程是自动化的，利用 MLLM 技术生成编辑指令和图像，并通过 Fashion Edit Score (FEditScore) 评估机制保证生成的数据质量。EditGarment 数据集可以应用于时尚设计、定制和电子商务等领域，为开发稳健的服装编辑模型提供支持。

原始信息汇总

EditGarment: 基于指令的服装编辑数据集

数据集概述

• 名称: EditGarment
• 类型: 基于指令的独立服装编辑数据集
• 规模: 20,596个高质量指令-图像三元组
• 构建方法: 自动化MLLM合成与语义感知评估
• 应用领域: 时尚设计与定制
• 论文会议: ACM MM 2025
• arXiv链接: https://arxiv.org/abs/2508.03497

核心特点

1. 指令分类: 定义6个与真实时尚工作流程一致的编辑指令类别
2. 评估指标: 提出Fashion Edit Score，捕捉服装属性间的语义依赖关系
3. 数据质量: 从52,257个候选三元组中筛选出20,596个高质量样本

构建流程

1. 数据生成: 使用Qwen-VL模型生成编辑三元组
2. 质量评估: 通过依赖图结构定量评估生成数据质量
3. 筛选标准: 得分超过预设阈值的数据纳入最终数据集

作者信息

• 单位:
  • 西交利物浦大学
  • 宁波理工学院
  • 浙江大学
• 贡献:
  • Deqiang Yin*
  • Junyi Guo*
  • Huanda Lu
  • Fangyu Wu†
  • Dongming Lu
• (*Equal Contribution, †Corresponding Author)

引用格式

bibtex @misc{yin2025editgarmentinstructionbasedgarmentediting, title={EditGarment: An Instruction-Based Garment Editing Dataset Constructed with Automated MLLM Synthesis and Semantic-Aware Evaluation}, author={Deqiang Yin and Junyi Guo and Huanda Lu and Fangyu Wu and Dongming Lu}, year={2025}, eprint={2508.03497}, archivePrefix={arXiv}, primaryClass={cs.CV}, url={https://arxiv.org/abs/2508.03497}, }

搜集汇总

数据集介绍

构建方式

EditGarment数据集的构建采用了自动化多模态大语言模型（MLLM）合成与语义感知评估相结合的创新方法。研究团队首先从真实服装数据集MMDGarment中选取基础图像，通过Qwen-VL模型生成包含原始描述、编辑指令和编辑后描述的文本三元组，覆盖对象增删改、材质替换、色彩调整和结构改造六种专业设计需求。随后利用Gemini-2.0-Flash生成对应编辑图像，并通过独创的Fashion Edit Score评估体系进行质量过滤，该体系基于语义依赖图构建层次化问题网络，通过视觉问答验证编辑指令的语义一致性，最终从52,257个候选样本中精选出20,596个高质量三元组。

特点

该数据集具有鲜明的领域专业性与技术先进性：作为首个专注于独立服装编辑的指令数据集，其六类编辑操作完全匹配时尚设计工作流，如袖口结构改造、面料材质替换等专业需求。样本分辨率均保持512×512以上，编辑指令平均包含10个精准控制词汇，配合29词的原描述和31词的编辑后描述构成完整语义闭环。特别值得注意的是，通过FEditScore评估机制，数据集在保持颜色、纹理等底层视觉特征一致性的同时，更确保了领型、装饰元素等高层语义属性的精确对应，解决了传统编辑数据集中细节失真和语义漂移的痛点。

使用方法

该数据集主要服务于服装设计领域的多模态研究，使用者可通过加载标准化的图像-文本三元组进行端到端模型训练。在具体应用中，建议采用两阶段流程：首先利用原始描述和编辑指令训练指令解析模块，再结合编辑图像微调生成模型。实验表明，基于该数据集微调的InstructPix2Pix模型在FEditScore指标上提升34.3%，特别擅长处理'将圆领改为V领'等结构化修改。对于学术研究，推荐配合提供的语义依赖图工具进行细粒度结果分析；工业应用时，可重点参考材质替换类样本优化虚拟样衣系统。注意处理专业术语时需结合时尚知识图谱以提升模型理解精度。

背景与挑战

背景概述

EditGarment数据集由西安利物浦大学、宁波理工学院和浙江大学的研究团队于2025年联合发布，是首个专注于基于指令的服装编辑任务的多模态数据集。该数据集包含20,596组高质量的三元组（原始图像、编辑指令、编辑后图像），涵盖六种专业服装设计操作类型，包括物体添加/移除/替换、材质替换、色彩调整和结构修改。其创新性地采用自动化MLLM合成流水线，结合时尚领域专属的Fashion Edit Score评估机制，填补了服装细粒度编辑数据资源的空白，为AI驱动的时尚设计自动化提供了关键基础设施。

当前挑战

构建EditGarment面临双重挑战：在领域问题层面，服装编辑需解决细粒度语义理解难题，如处理'将棉质改为丝绸'等专业术语的跨模态对齐，以及保持未修改区域（如袖口褶皱）的视觉一致性；在构建过程层面，MLLM生成存在长尾分布偏差，罕见编辑类型（如特殊面料替换）覆盖率不足，且传统评估指标（CLIP相似度）无法捕捉袖长变化与领型保留等服装特有的语义依赖关系。数据集通过定义六类编辑模板和构建语义依赖图谱，有效缓解了这些挑战。

常用场景

经典使用场景

EditGarment数据集在服装图像编辑领域具有广泛的应用价值，尤其在时尚设计和定制化方面表现突出。该数据集通过自然语言指令实现对服装图像的精确修改，涵盖了六种常见的编辑类型，包括对象添加、对象移除、对象替换、颜色更改、材料替换和结构修改。这些编辑类型直接对应了时尚设计师在实际工作中的常见需求，使得该数据集成为研究指令驱动图像编辑任务的理想选择。

衍生相关工作

EditGarment数据集已经衍生出多个相关研究工作，其中最典型的是基于InstructPix2Pix模型的改进版本。研究人员利用该数据集对基础模型进行微调，显著提升了模型在服装编辑任务上的性能。此外，该数据集还启发了针对时尚领域特定术语和细节保持机制的研究，为解决扩散模型在细粒度编辑中的局限性提供了新的思路。

数据集最近研究

最新研究方向

随着生成式人工智能技术的迅猛发展，基于指令的图像编辑在时尚设计领域展现出巨大潜力。EditGarment数据集的推出填补了服装编辑任务中高质量多模态数据的空白，其创新性地采用自动化MLLM合成与语义感知评估相结合的构建方法，为时尚领域带来了突破性的研究工具。该数据集当前正推动三个前沿方向：一是探索跨模态大语言模型在细粒度服装属性编辑中的应用，如面料替换、结构修改等专业设计需求；二是开发面向时尚领域的语义感知评估体系，通过Fashion Edit Score等创新指标解决传统评估方法在服装语义依赖性上的不足；三是研究自动化数据合成技术在垂直领域的优化路径，特别是针对长尾服装属性和复杂设计指令的处理能力。这些研究方向与虚拟试衣、个性化定制等产业热点高度契合，为降低设计成本、加速产品迭代提供了技术支撑。

相关研究论文

• EditGarment: An Instruction-Based Garment Editing Dataset Constructed with Automated MLLM Synthesis and Semantic-Aware Evaluation

  西安交通大学利物浦大学 · 2025年