Efficient-Large-Model/SANA-WM-example-training-dataset

该数据集包含用于SANA-WM阶段一示例训练配置的Sekai-Game训练子集和LTX2 VAE潜在缓存。

This repository contains the Sekai-Game training subset and LTX2 VAE latent cache used by the SANA-WM stage-1 example training configs.

搜集汇总

数据集介绍

构建方式

SANA-WM-example-training-dataset源自Sekai项目官方发布的数据子集，经过重新打包与整理，专为SANA-WM阶段一训练配置而设计。该数据集包含1,618个MP4视频片段及其对应的JSON侧边信息文件，同时提供了由LTX2 VAE编码器预计算得到的潜变量缓存，以NPZ格式存储。视频数据与潜变量缓存均保持帧数为961帧、帧率为16fps、重叠帧数为640的结构，确保与训练配置的路径对齐。数据集以ZIP压缩包形式组织，并附带data_manifest.json文件以记录每个文件的字节大小与条目数量，方便后续的数据加载与管理。

特点

该数据集最显著的特点在于其面向世界模型与视频生成任务的专用性，融入了相机控制与VAE潜变量缓存的机制。原始视频数据经过精心筛选与标注，涵盖了丰富的相机轨迹与场景注释，为视频生成与相机控制研究提供了高质量的训练样本。潜变量缓存通过预计算VAE编码结果，大幅减少了训练过程中的计算开销，提升了阶段一训练的收敛速度与资源利用效率。数据集的非商业研究许可协议确保了其在学术研究环境中的合法使用，同时保护了原始权利人的权益。

使用方法

使用该数据集进行SANA-WM阶段一训练时，需首先将数据集下载至NVlabs-Sana代码仓库根目录，使得data/路径结构与示例配置文件中的预期路径一致。具体可通过huggingface-cli或hf download命令完成下载。随后，在YAML格式的训练配置文件中，需正确设置data.data_dir字段指向原始视频数据目录，data.vae_cache_dir字段指向VAE潜变量缓存目录。若数据集被放置于其他位置，则需相应调整这两个配置路径，以确保训练脚本能够正确读取数据。

背景与挑战

背景概述

SANA-WM-example-training-dataset是由Efficient-Large-Model团队于2025年创建，基于Sekai项目衍生而来的视频生成训练子集，核心研究人员包括Zhen Li、Chuanhao Li等，主要依托于中国科学院与南京理工大学等机构。该数据集旨在支持文本到视频与图像到视频的生成任务，尤其聚焦于世界模型（World Model）与相机控制（Camera Control）的研究，为SANA-WM阶段一训练提供示例配置所需的视频片段、相机轨迹及VAE潜在缓存。其研究意义在于推动可控视频生成领域的发展，通过高质量的Sekai-Game游戏视频数据，为动态场景理解与相机轨迹建模提供标准化基准，对视频生成技术的可重复性研究与算法评估具有重要影响力。

当前挑战

数据集所解决的领域挑战在于：1）视频生成任务中，现有模型难以在复杂游戏场景下同时实现精准的相机控制与动态内容生成，而该数据集通过提供对齐的相机轨迹与视频片段，为可控世界模型训练奠定基础；2）构建过程中面临的核心挑战包括大规模视频数据的高效压缩与预处理，例如将原始MP4视频编码为LTX2 VAE潜在表示以降低存储开销，同时需确保1,618个视频片段与对应JSON元数据的严格对齐；3）数据集源于非商业研究许可，在重新打包与分发时需严格遵循版权条款，避免对原始Sekai项目使用范围的越界，体现了科研数据复用中的合规性挑战。

常用场景

经典使用场景

在视频生成模型的训练中，对具有复杂动态场景和精确运动控制能力的数据集需求日益迫切。SANA-WM-example-training-dataset 被精心设计为世界模型（World Model）训练的关键资源，主要用于文本到视频（Text-to-Video）和图像到视频（Image-to-Video）的生成任务。该数据集通过对Sekai游戏场景进行高帧率（16fps）采集，提供了涵盖961帧的连续视频片段及对应的相机轨迹与标注信息，使得研究者能够利用其训练具备可控相机运动和场景建模能力的视频生成模型。经典的使用方式是将该数据集与SANA-WM训练框架结合，通过加载预处理后的LTX2 VAE潜变量缓存，直接用于阶段一（Stage-1）的模型优化，从而在像素空间高效地学习世界中物体的运动规律与视觉一致性。

实际应用

在实际应用层面，该数据集所驱动的模型训练展现出巨大的产业价值，尤其是在需要精细化视觉模拟的领域。基于该数据集训练出的视频生成模型能够被复用于游戏引擎中的实时动画生成，通过输入文本或图像指令即可输出符合预设相机运动轨迹的游戏内过场动画，大幅降低传统3D动画制作的人力与时间成本。此外，在自动驾驶仿真平台中，该数据为构建“非真实但物理合理”的驾驶环境提供了数据基础，使感知算法能在可控视角下进行预测与避险训练。对于虚拟现实与增强现实领域，该数据集支持的模型能够根据用户头部运动（作为相机控制信号）即时渲染出沉浸式的连续环境视图，从而在互动叙事和远程协作场景中创造流畅、逼真的视觉体验，显著提升了数字内容共创的灵活性。

衍生相关工作

该数据集的推出伴随着一系列具有里程碑意义的学术成果的涌现，其中最显著的是其依托的Sekai项目与SANA-WM模型系列。Sekai项目作为该数据集的前驱工作，从开放世界游戏中收集并系统化标注了大规模视频数据，原创性地定义了“世界探索（World Exploration）”研究主题，相关论文发表于arXiv（2506.15675），为该领域的后续研究奠定了数据标准与基准。基于该数据集开发的SANA-WM世界模型，创造性地提出了包含多阶段训练的框架，其中阶段一训练直接利用此数据集实现从粗糙运动到精细纹理的渐进式生成，其技术报告揭示了在可控视频生成中融合潜变量缓存的优势。这些衍生工作不仅验证了该数据集的有效性，更催生了如基于理解视频中物理交互的因果模型、多视角融合生成等新研究方向，形成了一个以游戏视频为媒、连接真实物理常识与数字生成技术的活跃学术生态圈。