WorldOlympiad

WorldOlympiad是一个针对视频世界模型的铁人三项式基准测试，用于评估物理真实性、几何一致性和交互保真度。它包含1,000个长视频：400个机器人视频、400个游戏视频和200个通用现实世界视频，通过自动协议评估长视频生成管道。WorldOlympiad is a triathlon-style benchmark for video world models, aiming to assess three critical attributes: physical realism, geometric consistency, and interaction fidelity. It comprises 1,000 long-form videos, including 400 robotic videos, 400 gaming videos, and 200 general real-world videos, and utilizes automated protocols to evaluate long video generation pipelines.

原始信息汇总

数据集总览

WorldOlympiad 是一个用于评估视频世界模型的基准测试，旨在超越视觉质量，检验生成的长视频是否遵循可解释的物理规则、保持连贯的3D结构，并能根据跨连续片段的提示进行可控交互。该基准覆盖游戏、机器人技术和通用真实世界视频三个下游场景，并通过统一的自动化协议评估具有代表性的长视频生成流水线。

核心贡献

• 三项全能评估框架：将世界模型的评估分解为物理保真度、几何一致性和交互忠实性三个维度。
• 多领域基准数据集：包含1,000个长视频，具体组成为：
  • 400个机器人视频
  • 400个游戏视频
  • 200个通用真实世界视频
• 可解释的自动化指标：
  • 物理轨迹：使用基于对象的图像分割和多模态大语言模型判断.
  • 几何轨迹：采用DA3/高斯散点重建诊断。
  • 交互轨迹：评估片段级和全局提示遵循程度。
• 流水线级诊断：官方代码支持对多个长视频生成流水线进行评估，并生成可中断恢复的逐案例诊断JSON文件。

基准设计

评估轨迹	测试目标	主要信号
物理	生成的行为是否遵循物理规则	利用SAM3辅助的物体检测与多模态大语言模型评分，判断力学、热力学和材料属性合规性
几何	生成的视频是否保持连贯的三维结构	DA3重建质量、诊断元视图一致性、恢复的相机轨迹对齐度
交互	生成过程是否遵循长时程提示	分块指令遵循、相邻片段过渡平滑度、全视频一致性以及CLIP语义匹配

数据构成与标注

标注流程会识别主要连续执行区间，将每个视频分割为连续片段，生成动作/字幕元数据，并结合完整视频上下文优化标注。这些标注以prompt.json文件的形式用于交互评估器。

评估流程与布局

数据布局：批量评估要求每个测试用例位于独立的目录中，目录下至少包含：

• prompt.json: 视频或每个生成片段的提示元数据。
• ref_<case_id>.mp4: 参考视频。
• <output_prefix>_gen_<case_id>.mp4: 待评估的生成视频。
• <output_prefix>_gen_<case_id>_chunk_timestamps.json: 生成视频片段的时间戳元数据。

支持评估的流水线：包括cosmos-predict、hunyuan-gamecraft、hunyuan-worldplay、lingbot-world、longlive、matrix-game2、rolling-forcing、wow、yume1p5等。

服务与运行：评估需要启动QwenVL、SAM3和DA3/3D奖励三个持久化服务，并通过统一的批量脚本evaluate_pipelines.py运行。该脚本支持指定域名、流水线、GPU分配、服务地址，并具有跳过已完成案例、限制评估数量、强制重算等选项。

相关资源

• 项目页面：https://alibaba-damo-academy.github.io/WorldOlympiad
• 论文源文件：../paper/paper.tex
• 代码仓库：https://github.com/alibaba-damo-academy/WorldOlympiad

搜集汇总

数据集介绍

构建方式

世界奥赛（WorldOlympiad）数据集以铁人三项为设计灵感，构建了一个涵盖物理真实性、几何一致性与交互忠实度的视频世界模型诊断基准。数据集精心收录了1000段长视频，其中包括400段机器人操作视频、400段游戏场景视频以及200段通用现实世界视频，覆盖了具身智能、虚拟环境与日常生活三大下游应用场景。每一段视频均经过精细的标注流程处理，首先识别出主要的连续执行区间，随后将视频分割为连续片段，生成动作描述与视觉字幕元数据，并利用完整视频上下文信息对标注进行优化，最终形成统一格式的prompt.json文件，用于交互评估。

特点

该数据集的独特之处在于其三维度的评估架构，突破了传统仅关注视觉质量的局限。物理轨利用SAM3辅助的目标证据与多模态大语言模型评分系统，评估生成视频是否遵循力学、热力学及材料属性等物理规则。几何轨采用DA3深度估计与高斯溅射重建诊断技术，评估视频是否保持连贯的三维结构，包括全景视图一致性和相机轨迹对准。交互轨则通过片段级指令跟随、相邻过渡平滑度、全视频连贯性及CLIP语义对齐等指标，衡量模型对长程提示的响应能力。这种多维度、细粒度的自动评估协议能够系统性地暴露视频世界模型的失败模式。

使用方法

使用WorldOlympiad评估流程需先配置计算环境，包括创建基于conda的专用环境并激活。随后需依次启动三项核心服务：基于QwenVL的多模态语言模型服务器用于物理与交互评估、搭载SAM3权重的分割服务器用于目标感知、以及整合DA3深度估计与3D奖励模型的几何评估服务器。在服务就绪后，执行统一的批量评估脚本，需指定评估领域（通用/游戏/具身）、待测视频生成管道名称、各服务端点URL以及GPU资源分配。评估结果以JSON格式逐案例写入，支持断点续跑，最终可生成聚合的分数CSV与JSON报告，为模型改进提供量化指导。

背景与挑战

背景概述

WorldOlympiad是由浙江大学、阿里巴巴达摩院、香港科技大学及蒙纳士大学的研究团队于2026年联合提出的视频世界模型基准测试集。该数据集的核心研究问题是：当前的视频生成模型在超越视觉质量后，是否具备物理真实性、几何一致性与交互可控性这三项关键能力。研究团队构建了包含1000个长视频的多元评测集，覆盖机器人、游戏及通用现实场景。这一基准的提出填补了现有视频生成评估仅关注视觉相似性而忽视物理规则与3D结构理解的空白，为世界模型的能力诊断提供了系统化框架。

当前挑战

WorldOlympiad旨在应对三重挑战：第一，物理规则遵循的评估难题，即如何量化生成动作是否符合力学、热力学及材料属性约束，传统指标在此方面无能为力；第二，几何一致性的度量挑战，要求判定生成视频是否保持连贯的三维结构、视角变换与相机轨迹对齐；第三，交互可控性的评估困境，需有效检测长时程指令的跟随能力、相邻片段过渡的平滑性及全局语义一致性。此外，构建过程中面临多源数据统一标注、物理规则问题集设计及3D重建工具集成等技术挑战，最终依赖SAM3、QwenVL等模型构建自动化诊断管线。

常用场景

经典使用场景

世界模型（World Model）作为视频生成与物理推理的交汇点，其评估标准长期陷于视觉质量的单一维度。WorldOlympiad基准以‘铁人三项’为隐喻，开创性地将评估范式拆解为物理忠实度、几何一致性与交互保真度三大并行轨道。在经典使用中，研究者利用该基准测试长视频生成模型能否在游戏、机器人和通用真实世界三类场景下，同时遵守力学与热力学规则、维持连贯的三维结构，并响应多片段跨时域的控制指令。通过统一的自动评估协议，该基准精准定位了生成模型在物体形变、相机抖动及指令漂移等方面的隐失败模式，为世界模型的诊断提供了超越美学评判的鲁棒标尺。

实际应用

在工业界，WorldOlympiad为游戏引擎的自动化内容生成、机器人仿真器的数据合成以及影视预演系统的可信度验证提供了关键的评估基础设施。游戏开发商可借助该基准筛选出能在连续多帧中维持场景几何一致性的生成模型，避免角色穿越或景物闪烁等破坏沉浸感的问题。机器人领域则利用交互轨道的评分机制，检验模型是否能在长时域内精准跟随‘左转-右转-刹车’等复合指令序列，从而为仿真训练数据的自动标注提供质量门控。通用视频生成平台亦可依据物理轨道的警告信号，驳回那些看似流畅实则违背刚体运动定律的失败输出，显著降低了后期人工校验的成本。

衍生相关工作

WorldOlympiad的提出催生了一系列沿其评价体系展开的衍生工作。在物理轨道方向，后续研究借鉴其SAM3与MLLM的联合评判范式，开发了面向流体模拟与弹性体形变的专项基准，将评估粒度从宏观规则扩展至微观材料特性。几何一致性轨道促成了基于Gaussian Splatting的在线诊断工具，能够实时反馈生成视频中三维结构的收缩与畸变程度。交互保真度方面的启发最为深远，多个团队以该基准的块级时序对齐方法为基础，构建了面向人机协同的‘提示-行为’闭环评估协议，并衍生出长视频因果链追踪的经典数据集。这些工作共同构成了世界模型可解释性评估的繁荣生态，持续巩固了WorldOlympiad在该领域的标杆地位。