Efficient-Large-Model/SANA-WM-Bench

SANA-WM-Bench是一个最小化的80场景、60秒的SANA-WM基准测试数据集。它包含80个条件图像、固定的公共场景集、简单和困难的60秒Sana-WM相机轨迹。场景ID在每个类别中被匿名化为001-020。数据集故意排除了24秒设置、非Sana-WM导出格式、基线输出和生成的视频。所有条件图像都是使用Google的Nano Banana（Gemini原生图像生成）AI生成的，作为合成基准测试输入，而非真实世界照片。

Minimal 80-scene, 60s SANA-WM benchmark release. It contains the 80 conditioning images, fixed public scene set, simple/hard 60s Sana-WM camera trajectories. Scene IDs are anonymized within each category as 001-020. It intentionally excludes 24s settings, non-Sana-WM export formats, baseline outputs, and generated videos. All conditioning images are AI-generated using Googles Nano Banana (Gemini native image generation) and are synthetic benchmark inputs, not real-world photographs.

搜集汇总

数据集介绍

构建方式

SANA-WM-Bench是一个面向世界建模评估的精细化基准数据集，专注于为视觉生成模型提供标准化测试场景。该数据集以80个精心设计的场景为核心，每个场景均通过Google的Nano Banana（Gemini原生图像生成技术）合成生成，确保了输入图像的高度可控性与一致性。数据集的构建严格遵循分类匿名化原则，每个类别下的场景被标识为001至020，以此消除潜在的主题偏差。此外，数据集配备了固定的公开场景集与两套SANA-WM摄像机轨迹，分别涵盖简单与困难模式，持续时长均为60秒。值得注意的是，该基准刻意排除了24秒设置、非SANA-WM导出格式、基线输出及生成视频，以此聚焦于核心评估目标。

特点

该数据集最显著的特点在于其极简与专注的设计哲学。80个场景的规模虽小，但覆盖了多样化的视觉语义类别，为实现高效且可复现的基准测试提供了坚实基础。所有条件图像均为AI生成，而非真实世界照片，这一特性赋予了数据集在隐私保护与内容控制方面的独特优势，同时避免了真实数据可能引入的环境噪声与版权争议。数据集采用Creative Commons Attribution 4.0国际许可协议发布，明确保护了数据打包、清单、摄像机轨迹及AI生成图像的版权，同时要求用户在使用时对SANA-WM-Bench进行适当归属。这种开放而规范的授权策略，在促进学术研究与商业应用之间取得了良好平衡。

使用方法

使用SANA-WM-Bench时，研究人员可直接从数据集提供的images/目录中获取80幅AI生成的条件图像，并配合公共场景集与预设的摄像机轨迹进行模型评估。数据集包含了简单与困难两种模式的60秒轨迹，用户可根据研究需求选择相应难度组合进行测试。对于世界建模能力的量化分析，建议将生成模型在此基准上的输出与原始场景图像进行对比，以评估模型在时间一致性、几何稳定性与视觉保真度等方面的表现。由于数据集明确排除了基线输出与生成视频，用户需自行准备评估算法或参考实现。使用过程中，应遵守CC BY 4.0许可条款，并在任何衍生成果中正确标注数据集来源，同时履行生成式AI服务相关的法律义务。

背景与挑战

背景概述

SANA-WM-Bench是一个专为世界模型（World Modeling）评估而设计的基准数据集，其创建聚焦于合成图像序列中的动态场景理解与相机轨迹推理。该数据集由相关研究机构在2024年前后推出，核心研究问题在于如何通过有限的80个场景（每类20个，匿名编号001-020）与固定60秒相机轨迹，检验模型对生成环境中物理规律、空间一致性及时间演化的建模能力。所有条件图像均采用Google Gemini原生图像生成工具Nano Banana合成，规避了真实拍摄中的噪声与版权问题，为世界模型提供了纯净的控制输入。该基准致力于推动AI系统从静态感知向动态预测的跨越，对自主导航、虚拟现实及仿真环境等领域的评估标准化具有重要影响力。

当前挑战

该数据集面临的挑战多维交织：其一，在领域问题层面，世界模型需同时解决空间结构推理（如相机轨迹与场景几何的对应）与时间动态预测（如60秒序列中的物体运动与光照变化），这远超传统图像生成任务对单帧或短时一致性的要求。其二，构建过程中，研究人员刻意排除了24秒设置、非Sana-WM导出格式及基线输出，可能导致模型泛化性受限；同时，80个场景的数据量极小，易引发过拟合，且AI生成图像虽规避真实数据瑕疵，却可能缺失现实世界的复杂光照与纹理特征，削弱基准的生态效度。此外，匿名化的场景分类（如001-020）未提供语义标签，迫使模型依赖纯视觉信号进行推断，进一步提升了推理难度。

常用场景

经典使用场景

在生成式人工智能与视频合成领域，SANA-WM-Bench 数据集被广泛用作世界模型评估的标准基准。该数据集精心设计了80个场景、每段60秒的相机轨迹，并提供了由谷歌Nano Banana模型生成的合成条件图像。研究者们利用这些固定场景与特定难度等级的轨迹数据，对视频生成模型在长期时空一致性、动态场景理解及相机运动模拟等方面的能力进行系统性评测，成为检验世界模型算法鲁棒性与泛化性能的关键工具。

实际应用

在实际产业应用中，SANA-WM-Bench 主要服务于高精度视频内容生成、自动驾驶仿真环境构建以及虚拟现实场景的自动创建。例如，在影视制作与游戏开发中，该基准帮助评估生成模型能否根据单张合成图片自动模拟出连续、平滑的相机运镜，大幅降低人工动画师的手动调试成本。同时，在机器人或无人车的模拟训练中，利用该数据集校验世界模型能否在合成环境中生成符合物理规律的连续视觉帧，为安全验证与策略优化提供可靠的仿真数据支撑。

衍生相关工作

基于 SANA-WM-Bench，学术界已衍生出一系列聚焦于长时视频预测与可控视频生成的经典工作。研究者们围绕其提供的80个标准场景和60秒轨迹，设计了多种改进的时域注意力机制、隐空间运动编码器以及流匹配去噪策略，从而在图像条件引导下实现更逼真、更长久的视频输出。此外，部分工作将该基准与Sora、Stable Video Diffusion等先进模型进行对比分析，进而提出融合场景语义与相机参数的联合优化框架，这些衍生的研究成果进一步夯实了世界模型在复杂动态环境建模领域的理论根基。