ByteDance-Seed/BM-6M-Demo

ByteMorph-6M-Demo数据集是一个用于指令基础上的图片编辑任务的数据集，专注于非刚性运动，如摄像机视角变化、对象形变、人体关节运动或复杂交互。数据集由原始视频生成，视频由Seaweed工具生成并采样为源-目标图片编辑对，然后由VLM进行过滤和注释。数据集适用于文本到图片和基于指令的图片编辑研究。

ByteMorph-6M-Demo is a dataset for instruction-based image editing tasks, focusing on non-rigid motions such as changes in camera viewpoint, object deformation, human articulation, or complex interactions. The dataset is generated from original videos produced by Seaweed and sampled into source-target image editing pairs, which are then filtered and captioned by VLM. It is suitable for research on text-to-image and instruction-based image editing.

搜集汇总

数据集介绍

构建方式

在图像编辑领域，非刚性运动编辑（如视角变化、物体形变、人体姿态调整等）长期面临数据匮乏的困境。为突破这一瓶颈，ByteMorph-6M-Demo数据集应运而生。其构建过程首先依托Seaweed视频生成引擎产出原始视频素材，随后从中采样帧对，形成源图像与目标图像的编辑配对。接着，利用视觉语言模型（VLM）对帧对进行精细化筛选与语义标注，为每一组配对生成源图像描述、目标图像描述及编辑指令。该数据集还通过重写机制将VLM生成的编辑描述转化为更符合指令格式的编辑提示，从而构建出高质量、多样化的非刚性运动编辑样本库。

特点

该数据集聚焦于指令驱动的非刚性运动图像编辑，填补了现有数据集多局限于静态或刚性变换的空白。其核心特色在于每个样本均包含源图像、目标图像、编辑指令及其重写版本，以及双图像描述，为模型提供了丰富的语义监督信号。数据规模达到约78万组训练样本，涵盖视角转换、物体变形、人物互动等复杂动态场景。此外，数据集遵循CC0-1.0许可协议开源，并提供了配套的评测基准与模型检查点，便于研究者进行系统性评估与对比。

使用方法

研究者可通过HuggingFace Datasets库便捷加载该数据集，并使用提供的示例脚本进行预处理。典型流程包括：利用load_dataset函数获取数据，提取图像ID与图像数据，将源图像与目标图像拼接为对比图保存，同时将编辑指令、重写指令及双图像描述整理为JSON文件存储。该数据集支持直接用于训练指令驱动的图像编辑模型，也可作为评测基准评估现有方法在非刚性运动编辑任务上的表现。完整训练数据可通过官方仓库获取，示例子集则便于快速实验与原型验证。

背景与挑战

背景概述

在计算机视觉领域，图像编辑技术长期聚焦于静态场景或刚性变换，而对非刚性运动（如视角变化、物体形变、人体关节动作及复杂交互）的编辑能力仍处于探索初期。为填补这一空白，字节跳动Seed团队于2025年发布了ByteMorph-6M-Demo数据集，由Di Chang、Mingdeng Cao等研究人员主导，依托Seaweed视频生成平台构建。该数据集包含约78万对源-目标图像编辑样本，每对样本均配有详细的编辑指令与图像描述，旨在推动基于指令的非刚性运动图像编辑研究。ByteMorph的提出不仅为文本引导图像编辑任务提供了大规模、高质量的训练资源，更通过其配套的BM-Bench基准测试，为评估模型在动态场景下的编辑能力树立了新标杆，对AIGC领域的发展具有重要影响力。

当前挑战

当前非刚性运动图像编辑面临多重挑战。首先，领域核心问题在于如何精准捕捉并再现复杂的动态变化，例如人体姿态调整、物体形变或多物体交互，这些任务远超传统刚性变换模型的能力边界，要求模型具备对运动语义的深层理解与生成能力。其次，数据集构建过程中面临显著困难：原始视频需通过Seaweed平台生成，并逐帧采样为图像对，这一过程需确保帧间运动连贯且编辑指令语义准确；随后依赖视觉语言模型（VLM）对海量帧进行过滤与标注，但VLM在描述复杂运动时可能存在歧义或遗漏，导致编辑指令与图像内容的一致性难以保证。此外，数据规模虽达百万级，但非刚性运动的多样性仍可能受限，部分罕见运动模式的覆盖不足，影响模型泛化性能。

常用场景

经典使用场景

在计算机视觉领域，非刚体运动编辑（如视角变化、物体形变、人体姿态调整及复杂交互）长期缺乏大规模标注数据集。ByteMorph-6M-Demo作为ByteMorph基准的子集，提供了约78万对源-目标图像编辑样本，每对样本均包含基于视频帧采样的图像对、编辑指令及双向描述。该数据集专为指令引导的图像编辑任务设计，尤其聚焦于非刚体动态场景，填补了现有数据集仅覆盖静态或刚性变换的空白，为研究者提供了训练和评估模型在复杂运动编辑能力上的标准化资源。

衍生相关工作

该数据集衍生出ByteMorph基准及其配套的BM-Bench评估框架，并催生了多项经典工作。其配套论文提出了针对非刚体运动编辑的评估指标和基线模型，为后续研究确立了标准化评测体系。此外，基于该数据集，研究者已开发出如ByteMorpher等专用模型，探索了扩散模型在动态场景中的指令跟随能力。这些工作共同构建了从数据构建、模型训练到性能评估的完整技术栈，成为非刚体图像编辑领域的重要研究起点。

数据集最近研究

最新研究方向

基于非刚体运动的指令引导图像编辑是当前计算机视觉领域的前沿研究方向。ByteDance-Seed/BM-6M-Demo数据集作为ByteMorph基准的核心组成部分，专门针对相机视角变化、物体形变、人体关节运动及复杂交互等动态场景的编辑任务。该数据集突破传统静态或刚性变换的局限，通过大规模视频帧采样与视觉语言模型自动生成编辑指令对，为研究者提供了训练与评估非刚体运动编辑能力的标准化资源。其发布推动了图像编辑技术从简单属性修改向语义级动态变换的跨越，在AIGC内容创作、影视后期及虚拟现实等热点应用中具有重要影响，为构建更自然、更富表现力的图像生成模型奠定了数据基础。