wan21-x0-trajectory-atlas

该数据集围绕Wan2.1-T2V-14B视频扩散模型，系统研究了低分辨率步骤对去噪轨迹的影响。数据集包含三部分：原子消融实验（ablation_x0/）在步骤10使用单次低分辨率操作，其余步骤保持全分辨率，并记录步骤9-14的x0轨迹，以对比不同频率处理策略（如是否携带高频带、下采样方式）的恢复效果；完整轨迹数据（trajectories/）提供三种加速等级（密集1.00x、温和1.70x、激进3.82x）下50步的x0解码视频、接触图及演化动画；四倍加速方案对比（arms_4x/）包含五种配置（如缓存、低分辨率锚点、无频带携带等）的详细指标（标准差、锐度、帧间差异）。所有实验基于1280×720分辨率、81帧、50步UniPC调度器，并记录了每次前向推理的时间。数据以视频和数值摘要形式呈现，旨在揭示低分辨率步骤中频率分量的作用机制，以及如何设计更优的加速策略。This dataset revolves around the Wan2.1-T2V-14B video diffusion model, systematically studying the impact of low-resolution steps on the denoising trajectory. It consists of three parts: atomic ablation experiments (ablation_x0/) perform a single low-resolution operation at step 10 while maintaining full resolution in other steps, recording the x0 trajectory from steps 9-14 to compare recovery effects of different frequency processing strategies (e.g., whether to carry high-frequency bands, downsampling methods); complete trajectory data (trajectories/) provides 50-step x0 decoded videos, contact maps, and evolution animations under three acceleration levels (dense 1.00x, moderate 1.70x, aggressive 3.82x); 4x acceleration scheme comparison (arms_4x/) includes detailed metrics (standard deviation, sharpness, inter-frame differences) for five configurations (e.g., caching, low-resolution anchors, no band carrying). All experiments are based on 1280×720 resolution, 81 frames, 50-step UniPC scheduler, with forward inference time recorded for each step. Data is presented in video and numerical summary forms, aiming to reveal the mechanism of frequency components in low-resolution steps and how to design better acceleration strategies.

原始信息汇总

数据集概述

wan21-x0-trajectory-atlas 是一个关于 Wan2.1-T2V-14B 视频生成模型低分辨率步进（low-resolution step）行为的研究数据集。该数据集不提供质量评判，而是提供观察材料，所有数值均为代理指标，而非判定标准。

---

核心研究框架

本数据集重新定义了评估目标：廉价步进的目标不是与全分辨率步进一致，而是向“有益”方向去噪。这一框架下的关键发现是：

单低分辨率步进分支	cos(v) vs 稠密	x0 位移 vs 稠密	第14步恢复度
base（CRF频率分割+携带高频带）	0.849	8.1x	0.966
latent_nc（下采样潜变量，无频率机制）	0.352	13.8x	0.998

最“对齐”的分支恢复最差，而最不对齐的恢复最好。预测结果的关键区分是流形上 vs 流形外：低分辨率步进留下细节不足，后续全步可重新生成；而携带的高频带注入了不属于该步的细节，无法被撤销。

---

原子消融实验（ablation_x0/）

在第10步执行单次低分辨率步进，其他步骤全为全分辨率，无任何跳跃。每个分支在第10步之前位相同（经断言验证），因此差异完全由该单次操作引起。x0 在第9至14步被转储。

关键结论：

1. 携带的高频带使预测速度的高频内容翻倍：稠密 v 的高/低频带比为 0.330，携带该频带的分支为 0.49-0.63，丢弃的分支为 0.36-0.40。高频过量的分支正是 x0 崩溃的分支。
2. 恢复程度按频率机制参与度单调排序：使用完整 CRF 分割与携带的为 0.966，完全不使用的为 0.998。
3. 成本不变：低分辨率步进耗时 4.0-4.1 秒，无论是否携带高频带，均为全步（13.2 秒）的 31%。

---

轨迹数据（trajectories/）

包含三个层级的轨迹，x0 在全部 50 步中每一步均被解码：

层级	计算步数 / 50	加速比
dense_1.00x	50	1.00x
mild_1.70x	25	1.70x
aggr_3.82x	9	3.82x

每个层级包含 50 个步进视频、50 格接触表及 x0_evolution.mp4（每步一帧，约6秒播放完整去噪轨迹）。

---

约 4x 加速分支（arms_4x/）

分支	F	L	S	计算步数	加速比	标准差	锐度	帧差
A_cache_only	12	0	38	12	4.09x	64.1	2.38	5.11
nl_anchor	10	5	35	15	4.34x	61.5	1.96	4.96
nl_B	7	18	25	25	4.12x	41.8	2.38	6.09
nl_heavy	5	20	25	25	4.64x	56.7	2.67	8.72
nl_B_old	7	18	25	25	4.03x	32.1	2.13	2.18
参考	50	—	—	50	1.00x	64.1	2.56	6.28

所有 nl_* 分支均使用潜变量空间下采样且不携带频带。nl_B_old 为对照组：与 nl_B 计划完全相同，但使用旧的嵌入下采样和携带高频带。

---

本轮修正

1. 先前提出的设计目标“寻找 x0 位移和方向与稠密匹配的操作”被推翻——恢复最佳的分支具有最大位移（13.8x）和最差方向（cos 0.037）。x0 是读数而非状态。
2. 潜变量下采样并不比嵌入下采样更便宜（0.305 vs 0.310 全步比例），块堆栈占主导。
3. 原先预期激进层级在前10-15步明显停滞的假设被撤回。
4. 此前将灰色场崩溃归因于携带陈旧性和单 L 振幅损失的判断均被修正，实际原因是让 L 步写入跳跃残差。

---

文件结构

• reference_1.00x.mp4 — 参考视频
• trajectories/<tier>/ — 每个层级的 50 个 x0 步进视频、接触表和演化视频
• ablation_x0/<arm>/ — 每个分支的 6 个 x0 步进视频（9-14步）及接触表
• arms_4x/ — 五个约 4x 分支及每次前向的追踪与摘要
• code/ — 包含 crf_lowres.py、crf_generate.py、make_plan.py、decode_x0.py、compare_ab.py、ab_motion.py、x0_motion.py、vidstat.py、test_crf_lowres.py（43项检查，全部通过）

搜集汇总

数据集介绍

构建方式

该数据集源于对Wan2.1-T2V-14B视频生成模型在1280x720分辨率下81帧、50步采样过程的系统性剖析。构建核心在于原子消融实验，即在第10步单独执行低分辨率操作，其余步骤保持全分辨率，并通过断言确保各分支在第10步前完全一致，从而隔离单一操作的影响。实验跨越多种设计变体，如频率带携带、潜空间下采样及位置插值等，并记录了第9至14步的x0预测结果。轨迹数据则基于SeaCache的调度策略，按计算密度分为三档，逐帧解码x0，生成对比视频与联系表。此外，还囊括了约4倍加速的多种策略组合，每种均附有详细的前向传播跟踪与统计摘要，形成多维度的分析材料。

特点

该数据集的核心特征在于其严密的消融设计与对潜在错误的深刻洞察。通过对比携带高频带的‘base’分支与完全去除频率机制的‘latent_nc’分支，揭示出x0位移或方向等传统对齐指标无法预测恢复质量，真正决定成败的是操作是否保持在数据流形上。数据集中包含的轨迹视频以每秒一帧的x0演化形式，直观呈现去噪全过程，使不同加速档位的差异一目了然。此外，数据还记录了校正先前假设的实证结果，如潜空间下采样并非更便宜、频率机制是性能瓶颈等，为视频生成加速研究提供了宝贵的第一手资料。

使用方法

使用该数据集时，研究者可首先查阅’ablation_x0’目录下的对比视频，直观观察各分支在关键步骤的x0变化与恢复情况，以验证流形保持理论。随后，通过’trajectories’目录中并排播放三个档位的x0演化视频，快速定位加速策略导致的质量下降时段。对于性能分析，’arms_4x’中的跟踪文件与统计摘要（如标准差、锐度、帧差）可供量化对比不同策略的产出效果。代码目录中的脚本（如compare_ab.py、vidstat.py）支持自定义分析，便于复现或扩展实验。整体上，该数据集既适合作为教学示例，也适宜作为研究基线，推动视频生成模型高效采样的深入探索。

背景与挑战

背景概述

wan21-x0-trajectory-atlas数据集诞生于对Wan2.1-T2V-14B视频生成模型加速推理的探索之中，由研究者yitongl创建，旨在系统剖析低分辨率步进与全分辨率步进在去噪过程中的行为差异。该数据集捕捉了模型在1280x720分辨率、81帧、50步采样下的完整x0轨迹，并通过原子消融实验，严格控制单一步骤的变量，以揭示频率承载机制对生成质量的影响。其核心研究问题在于，如何在不牺牲画质的前提下，通过智能调度计算资源实现数倍加速，这一方向对于视频生成模型的实用性至关重要。该数据集的影响力体现在其严谨的实验设计和颠覆性的发现上，它提出了“流形内外”的新视角，挑战了以往以向量对齐作为优化目标的做法，为后续的视频生成加速研究提供了宝贵的数据资产和理论启示。

当前挑战

该数据集所应对的领域挑战，是视频生成模型中推理成本高昂、生成速度缓慢的问题，这严重制约了其在高清实时场景下的应用。具体而言，如何在跳过大量计算步数后仍保持视觉连贯性与细节丰富度，是加速算法的核心难点。而数据集构建过程中遭遇的挑战更为微妙：设计合理的低分辨率替代方案并确保其与高分辨率步骤在功能上等价，而非简单近似。早期基于x0位移和方向一致性的指标被证明具有误导性，真正决定损伤程度的是操作是否将潜变量推离数据流形，这一认知的转变颠覆了既有的设计逻辑。此外，实验还发现，频率域操作（如承载高频带）反而会恶化恢复效果，而简单的潜空间下采样却表现优异，这种反直觉的结果要求研究者反复验证，最终促使数据集以原子消融的方式呈现，确保每个结论都建立在可控变量之上。

常用场景

经典使用场景

该数据集聚焦于视频扩散模型（如Wan2.1-T2V-14B）在低分辨率步骤下的去噪轨迹与x0预测行为，为研究模型内部动态提供细粒度的观测素材。其经典使用场景是作为基准，用于剖析扩散模型在跳过计算步骤时，不同降采样策略（如潜在空间下采样、频率带携带与否）对生成质量的影响。研究者可依此比较各策略下x0位移、速度场高/低频比等指标，探究模型在计算约束下的行为规律，从而优化推理调度或设计更高效的采样算法。

实际应用

在实际应用中，该数据集可服务于视频生成模型的推理加速工程。例如，在低资源环境下（如单块H100），开发者可依据其轨迹分析，选择最优的低分辨率步骤插入位置（如锚点策略），在保持生成质量的前提下实现高达4.64倍的加速。此外，数据集中的接触表与演化视频，为快速直观评估不同调度方案提供了工具，有助于在产品中部署实时或近实时的视频生成服务，平衡计算开销与视觉保真度。

衍生相关工作

该数据集衍生了若干后续研究方向，包括对缓存调度策略（如SeaCache）中低分辨率步骤与全步骤混合的精细化设计，如nl_anchor方案在冻结运行中嵌入低成本步骤，实现了接近缓存基线的性能。同时，催生了对频率操作（如CRF分割与携带）在扩散模型中作用的系统分析，相关作品如'CRF低分辨率窗口'与'SeaCache极限扫描'，进一步探索了在给定计算预算下，如何通过调整频率带处理来优化生成动态，推动了扩散模型高效推理领域的方法论演进。