Uncompressed

该数据集是FlowMimic研究项目的配套材料，包含论文的未压缩版本（main.pdf）以及多种视频编辑任务的结果示例视频。这些视频展示了同一1.3B模型在文字修改、非刚性元素替换、表情更换、发型更换、视频重光照等任务上的编辑效果，部分视频包含超过训练平均帧数（121帧）的推理结果。数据集旨在为视觉编辑与生成领域的研究提供可复现的参考，并支持基于像素对齐的时间点流扭曲场和模态模仿方法的验证。This dataset is supporting materials for the FlowMimic research project, containing the uncompressed version of the accompanying paper (main.pdf) and example result videos for various video editing tasks. These videos demonstrate the editing effects achieved by the same 1.3B-scale model across tasks including text modification, non-rigid element replacement, facial expression replacement, hairstyle replacement, video relighting, and more. Some of these videos include inference results that exceed the average training frame count (121 frames). The dataset aims to provide reproducible references for research in the field of visual editing and generation, and supports the validation of pixel-aligned temporal flow warping field and modality imitation methods.

原始信息汇总

数据集概述：FlowMimic/Uncompressed

基本信息

• 许可证：cc-by-nc-sa-4.0
• 数据集查看器：不可用（viewer: false）
• 论文：arXiv链接，并提供对应的非压缩版本文档（main.pdf）

研究核心内容

FlowMimic 研究提出了无掩码的视觉编辑与生成方法，其核心贡献包括：

1. 时间点流变形场（Temporal Point-flow Warped Field）：

   • 将视频编辑学习的本质抽象为像素级编辑效果的时间保持
   • 可仅从图像编辑样本中实时、可扩展地生成视频编辑数据
   • 适用于多种编辑任务，并可扩展至高层次视频任务（如分割）、低层次视频任务（如视频去模糊）及可控视频生成（如条件图到视频）

2. 模态模仿（Modality Mimicry）机制：

   • 认为同时在图像和视频模态上训练生成与编辑任务的模型，应产生跨模态相对一致的输出分布
   • 设计了模态模仿生成损失和模态模仿编辑损失

3. 内化语言视觉编辑能力：

   • 不依赖微调额外模块（如带连接器适配的VLM或辅助掩码序列输入），而是通过引入感知相关任务及编辑区域感知的潜在层和注意力层损失，赋予模型内化的编辑能力

4. 策略内自蒸馏（OPSD）视角：

   • 模态模仿过程本质上是流匹配模型的一种策略内自蒸馏形式
   • 相关模仿方法可应用于图像或视频流匹配模型的OPSD，如Z-image和Stable Diffusion 3.5 Medium

视频编辑结果

数据集中包含多项视频编辑任务的演示视频，均由同一个1.3B模型完成。示例包括：

• 更改文字（如“PEACE”）
• 非刚性元素替换及添加视觉效果
• 轨迹引导的条件输入编辑
• 表情更改（如“微笑”）
• 发型更改（如“法式浅紫色短发”）
• 视频重新打光（如“夕阳柔和光线”）
• 121帧长序列推理效果（训练平均帧数的3倍以上），包括添加魔法帽和调整秋日下午阳光照明等任务

引用信息

如需引用该研究成果，可使用提供的BibTeX条目（作者：Zhang, Dingyun; Gong, Lixue; Liu, Wei；发表于arXiv:2607.18227，2026年）。

搜集汇总

数据集介绍

构建方式

该数据集旨在为视频编辑与生成任务提供高质量的训练与评估资源。其构建基于FlowMimic框架，通过引入像素对扭曲流场（pixel-pair warped flow field）这一核心机制，能够从图像编辑样本中实时、可扩展地生成视频编辑数据，无需依赖显式的掩码标注。数据集的构建过程体现了对视频编辑学习本质的深刻洞察，即时间维度上编辑效果的保持被建模为时序点流扭曲场，从而实现了从静态图像到动态视频的高效数据转化。此外，数据集还整合了模态模仿生成损失与编辑损失的设计，以促使模型在图像与视频两种模态上产生对齐的输出分布。该数据集包含丰富的视频编辑结果示例，覆盖多种编辑任务，并提供了详尽的论文附件，为研究者提供了坚实的数据基础。

特点

该数据集的核心特点在于其创新性与综合性。它首次将时序点流扭曲场应用于视频编辑数据的可扩展生成，使模型能够在不依赖掩码输入的情况下，实现从图像编辑到视频编辑的跨模态迁移。数据集的设计充分考虑了多种编辑任务的普适性，包括文本引导的视觉编辑、非刚性元素替换、轨迹条件输入编辑、光照调整以及超长序列生成（如121帧推理）等，展现了其在高层次视频任务（如分割）和低层次视频任务（如去模糊）中的广泛适用性。此外，数据集所提出的模态模仿范式，从策略自蒸馏的角度，验证了流匹配模型在视频编辑中的可行性，并提供了如特征评分损失等可迁移的模仿方法。该数据集还包含了详尽的实验分析（如JS散度与Hellinger距离的计算），确保了研究的严谨性与可复现性。

使用方法

该数据集的使用方法灵活多样，主要面向视频编辑与生成领域的研究人员。研究者可依据数据集附带的论文详解，将视频编辑结果作为基准，评估自身模型在各类编辑任务上的性能。数据集中的视频示例覆盖了从基础属性修改（如更换单词、改变发型）到复杂场景重建（如光照调节、添加视觉效果）的广泛实例，可用于生成模型的训练、验证与对比。此外，数据集特别提供了超过训练平均长度三倍的推理示例（121帧），为研究长时序视频编辑提供了珍贵资源。研究者还可借鉴数据集中提出的模态模仿损失与编辑损失，将其应用于流匹配模型的策略自蒸馏（OPSD）训练，以提升模型在多模态任务中的表现。数据集的HuggingFace仓库还整合了未经压缩的论文文件，便于研究者深入理解方法细节，并根据自身需求复现实验或拓展新方向。

背景与挑战

背景概述

FlowMimic数据集由张定云、龚丽雪和刘伟等研究人员于2026年创建，旨在应对视频编辑中数据稀缺与掩码依赖的瓶颈问题。该研究通过引入像素对扭曲流场，实现了从图像编辑样本实时生成视频编辑数据的无掩码范式，突破了传统方法对掩码或额外模块的依赖。其核心创新在于构建时间点流扭曲场，使模型能够在保持像素级编辑效果的同时，扩展至多种视频编辑任务，并展现出对高层语义分割、低层视频去模糊及可控视频生成的广泛适用性。此外，该研究提出模态模仿损失，促使模型在图像与视频模态间达成分布对齐，进一步提升了编辑与生成任务的一致性。数据集附带未压缩的主论文，为后续研究提供了详实的理论支撑。该工作对视频编辑领域具有里程碑式的影响，推动了无掩码编辑与多模态生成的发展。

当前挑战

FlowMimic数据集所应对的领域挑战在于视频编辑学习对数据规模和掩码标注的高度依赖。视频编辑数据获取成本高昂且标注复杂，传统方法常需掩码序列或辅助模块，限制了模型的泛化能力。该研究通过像素对扭曲流场，实现了从图像编辑数据到视频编辑数据的可扩展生成，缓解了数据稀缺问题，并免除了掩码需求。构建过程中，研究团队面临多重技术挑战：确保跨模态输出分布的一致性，需设计模态模仿损失以对齐图像与视频特征；强化语言引导的编辑能力，需引入编辑区域感知的潜在级与注意力级损失，提升区域定位与修改精准度；同时，需验证在自举学习框架下，流匹配模型的可训练性，证明模态模仿策略的有效性。这些挑战的攻克使模型在统一架构下同时驾驭图像与视频编辑，为视频编辑领域提供了高效且鲁棒的解决方案。

常用场景

经典使用场景

该数据集作为FlowMimic工作的完整资源仓库，其核心价值在于为视频编辑与生成领域的研究者提供一套无掩码的视觉编辑与生成范式。研究者可依托其中蕴含的像素级点流变形场理论，从图像编辑样本中实时生成视频编辑数据，进而训练统一的视觉模型。该数据集附带的未压缩主文档，详细阐述了时间点流变形场的数学建模与优化策略，为复现实验、验证算法有效性以及探索跨模态编辑提供了坚实的数据与理论支撑。

解决学术问题

该数据集直面视频编辑学习中时间一致性难以保证、数据标注成本高昂等核心学术难题。通过提出时间点流变形场，实现了从单帧图像编辑到连续视频编辑的可扩展数据生成，绕开了繁琐的人工掩码与序列标注，从而大幅降低了数据获取门槛。同时，其首创的模态模仿损失函数，旨在弥合图像与视频模态间的分布差异，从理论层面回答了如何利用图像模态的丰富监督信号来强化视频编辑模型性能这一关键问题，为流匹配模型的自蒸馏研究开辟了新方向。

衍生相关工作

围绕该数据集所揭示的模态模仿范式，衍生了一系列值得深入探索的研究方向。其底层思想与在线策略自蒸馏（OPSD）紧密关联，为流匹配模型（如Z-image和Stable Diffusion 3.5 Medium）的无监督优化提供了新颖的损失函数设计思路。此外，该工作所提出的像素级对齐范式不仅适用于视频编辑，其可扩展性已初步验证于高层视觉任务（如分割）与底层视觉任务（如去模糊），并有望延伸至可控视频生成领域。这些衍生工作共同推动了多模态统一模型从理论构想向实际应用的演进，成为未来研究方向的重要基石。