InstructMove

InstructMove数据集是由东京大学和Adobe合作创建的，用于训练基于指令的图像编辑模型。该数据集从互联网视频中提取帧对，并使用多模态大语言模型生成编辑指令，包含600万对图像和相应的编辑指令。数据集的创建过程包括从视频中采样帧对、使用多模态LLMs生成指令，并进行运动过滤以确保帧对的质量。该数据集主要用于解决复杂图像编辑任务，如调整主体姿态、重新排列元素和改变视角，旨在提高图像编辑的精确性和自然性。The InstructMove dataset was co-created by The University of Tokyo and Adobe for training instruction-based image editing models. It extracts frame pairs from internet videos and generates editing instructions via multimodal large language models, containing 6 million image-instruction pairs. The dataset creation pipeline includes sampling frame pairs from videos, generating instructions using multimodal LLMs, and performing motion filtering to ensure the quality of the frame pairs. This dataset is primarily designed to address complex image editing tasks such as adjusting subject poses, rearranging elements, and altering perspectives, with the goal of improving the accuracy and naturalness of image editing.

搜集汇总

数据集介绍

构建方式

InstructMove数据集通过从视频中抽取帧对，并利用多模态大语言模型（MLLMs）生成编辑指令，构建了一个大规模的图像编辑训练数据集。首先，从视频中选取具有适度变换的帧对，确保这些帧对能够捕捉到自然的非刚性变换和复杂的相机运动。接着，使用MLLMs分析这些帧对之间的差异，生成详细的编辑指令，如调整主体姿态、改变视角等。最终，这些帧对和生成的指令形成了一个高质量的训练数据集，支持复杂的图像编辑任务。

使用方法

InstructMove数据集可用于训练基于指令的图像编辑模型，支持多种复杂的编辑任务。用户可以通过提供的帧对和编辑指令，对预训练的文本到图像生成模型进行微调，以实现自然语言驱动的图像编辑。该数据集还支持通过掩码和其他控制机制进行局部编辑，进一步提高了编辑的精确性和灵活性。通过结合该数据集，模型能够在保持图像内容一致性的同时，实现高质量的复杂编辑任务。

背景与挑战

背景概述

近年来，基于文本指令的图像编辑技术取得了显著进展，但现有方法在处理复杂编辑任务时仍面临诸多挑战。InstructMove数据集由东京大学和Adobe的研究团队于2024年提出，旨在通过从视频中提取帧对并结合多模态大语言模型（MLLMs）生成编辑指令，构建一个大规模的图像编辑数据集。该数据集的核心研究问题是如何在保持内容一致性的前提下，实现复杂的非刚性编辑任务，如调整主体姿态、表情和视角变化。InstructMove的提出不仅填补了现有数据集在复杂编辑任务上的空白，还为图像编辑领域提供了新的研究方向，推动了基于自然语言指令的图像编辑技术的发展。

当前挑战

InstructMove数据集的构建面临多重挑战。首先，从视频中提取合适的帧对并生成精确的编辑指令是一个复杂的过程，需要克服帧对选择中的运动过滤问题以及指令生成的多样性和准确性问题。其次，现有方法在处理非刚性变换和视角调整时，往往难以保持图像内容的一致性，导致编辑结果与指令不符或出现内容失真。此外，数据集的构建依赖于多模态大语言模型的能力，模型生成的指令可能存在不准确或遗漏部分变换的情况，进一步增加了编辑任务的难度。最后，尽管该数据集在复杂编辑任务上表现优异，但其仍无法处理艺术性编辑任务，如风格转换或对象替换，这限制了其在更广泛应用场景中的适用性。

常用场景

经典使用场景

InstructMove数据集的经典使用场景在于基于指令的图像编辑任务，特别是在处理非刚性变换、姿态调整、表情变化和视角转换等复杂编辑需求时表现出色。通过从视频帧中提取的源-目标对，结合多模态大语言模型生成的编辑指令，该数据集能够训练模型在保持内容一致性的同时，实现精确的图像编辑。

解决学术问题

InstructMove数据集解决了现有基于指令的图像编辑方法中存在的两大难题：一是难以获得大规模的源-目标-指令三元组数据集，二是现有方法在处理复杂编辑任务时往往无法保持图像内容的一致性。通过利用视频帧的自然变换和多模态大语言模型的指令生成能力，该数据集为复杂图像编辑任务提供了高质量的训练数据，推动了图像编辑领域的研究进展。

实际应用

在实际应用中，InstructMove数据集支持的图像编辑模型可以广泛应用于影视制作、广告设计、虚拟现实等领域。例如，在影视制作中，可以通过指令快速调整角色的姿态和表情；在广告设计中，可以精确修改产品展示的角度和布局；在虚拟现实中，可以实时调整虚拟场景的视角和元素位置，提升用户体验。

数据集最近研究

最新研究方向

近年来，基于指令的图像编辑技术取得了显著进展，尤其是在处理非刚性变换和复杂视角调整方面。InstructMove数据集通过从视频中提取帧对，并利用多模态大语言模型（MLLMs）生成编辑指令，构建了一个大规模的训练数据集。该数据集不仅支持复杂的编辑任务，如姿态调整、元素重排和视角变化，还通过引入空间条件策略，增强了模型在编辑过程中对原始图像内容的保持能力。这一研究方向为图像编辑领域提供了新的可能性，尤其是在处理复杂编辑任务时，能够更好地保持图像的一致性和细节。此外，该数据集的构建方法也为未来的图像编辑模型提供了更丰富的训练资源，推动了该领域的技术进步。

相关研究论文

• Instruction-based Image Manipulation by Watching How Things Move

  东京大学, Adobe · 2024年