EmbodiedCity/iWorld-Bench-Dataset

iWorld-Bench Simulation Archives 是一个用于评估相机可控视频生成模型和交互式世界模型的基准测试数据集。该数据集包含从四个模拟器来源（Aerial VLN、UAV ON、Openfly、EmbodiedCity）选择的高质量环境，索引从 dataset_env0 到 dataset_env26。每个环境包含两个对齐的组件：videos/ 目录下的渲染模拟视频片段（MP4格式）和 cameras/ 目录下对应的相机轨迹文件（TXT格式），这些文件通过相同的文件名主干配对。数据集以分环境ZIP存档形式存储，便于大规模分发和部分检索。该数据旨在支持交互式世界模型、相机控制视频生成、轨迹跟随、动作条件视觉预测和具身世界模拟等研究。iWorld-Bench Simulation Archives is a benchmark dataset for evaluating camera-controllable video generation models and interactive world models. It hosts packaged simulation archives with rendered simulation videos and aligned camera-trajectory files organized by simulator environment. The dataset selects high-quality environments from four simulator sources: Aerial VLN, UAV ON, Openfly, and EmbodiedCity, indexed from dataset_env0 to dataset_env26. Each environment contains two aligned components: video clips in the videos/ directory and corresponding camera-trajectory files in the cameras/ directory, paired by filename stem. The data is stored as split-by-environment ZIP archives for practical large-scale distribution. It is intended for research on interactive world models, camera-controlled video generation, trajectory following, action-conditioned visual prediction, and embodied world simulation.

搜集汇总

数据集介绍

构建方式

iWorld-Bench-Dataset 是面向可控制相机视角的视频生成与交互式世界模型评估的基准数据集。其构建过程基于四种高质量的仿真模拟器源——Aerial VLN、UAV ON、Openfly 与 EmbodiedCity，从中遴选出 27 个代表性环境（索引 0 至 26），并对每个环境中的渲染视频片段与对应的相机轨迹数据进行对齐打包。数据采用按环境分割、分卷压缩为 ZIP 归档文件的形式进行存储，每个环境目录下附有 manifest.json 清单文件，详细记录归档名称、文件数量、原始路径与大小等信息。这种设计使得大规模分发、部分下载与断点续传更为高效稳健。

特点

该数据集的核心特点在于其视频与相机轨迹间的严格对齐关系。每一组样本由文件名主干一致的 .mp4 视频文件与 .txt 轨迹文件构成，视频提供视觉观测序列，轨迹则记录相机内参、外参及控制信号。数据集覆盖从高空航拍到城市街区等多类仿真场景，支持对交互式世界模型训练、相机可控视频生成、轨迹跟随能力分析以及动作条件视觉预测等多种研究任务。分环境打包的归档结构使得研究者能有选择地获取特定环境的数据，显著提升了大规模仿真数据的可用性与灵活性。

使用方法

使用该数据集时，研究者可按环境索引下载所需 ZIP 归档文件，通过简单解压命令即可还原出标准的 videos/ 与 cameras/ 双目录结构。推荐的使用方式是将同文件名主干下的视频与轨迹文件配对读取，作为模型训练的输入-输出对或评估基准。对于官方评测流程，需使用主代码仓库中的评估代码，结合 dataset/all_pack 目录下提供的推理数据（包含首帧图像、多任务元数据及兼容 VideoX-Fun 的 CSV 文件）生成模型输出，再通过 iWorld-Bench 评测管线获取量化指标。

背景与挑战

背景概述

iWorld-Bench-Dataset是面向交互式世界模型与可控视频生成领域的基准数据集，由Jianjie Fang、Yingshan Lei等研究者于2026年创建，相关论文已被ICML 2026接收。该数据集致力于解决当前视频生成模型中动作控制与视觉观察耦合不足的核心问题，通过整合来自Aerial VLN、UAV ON、Openfly及EmbodiedCity四大模拟器的高质量环境，提供对齐的渲染视频片段与相机轨迹文件，为评估模型在轨迹跟随、动作条件视觉预测及具身世界模拟等任务上的表现奠定了标准化基础。其发布推动了交互式世界模型从理论探索向可量化评估的实质性跨越，对视频生成、机器人导航与智能仿真等交叉领域产生了重要影响。

当前挑战

该数据集所解决的领域挑战主要在于现有视频生成模型难以精确响应连续的相机控制信号，导致生成内容与预期轨迹存在偏差，且缺乏统一评测标准来量化模型的交互式模拟能力。构建过程中，数据配准面临视频帧与高维相机参数（内参、外参）在时间戳上的严格对齐难题，来自不同模拟器的异构环境需统一编码规范以避免语义歧义。此外，大规模仿真档案的存储与分发需设计分片压缩与清单校验机制，以应对网络传输中的断点续传与数据完整性验证挑战，确保用户能按需获取指定环境数据并可靠恢复多体量资源。

常用场景

经典使用场景

iWorld-Bench-Dataset是面向交互式世界模型与可控制视角视频生成研究的基准数据集，其核心使用场景在于构建和评估能够根据摄像机轨迹精确控制视觉输出的生成模型。研究者可利用该数据集中配备的成对仿真视频与对齐的相机轨迹文件，训练模型学习从底层运动指令到连续视觉帧的映射关系。该数据源自Aerial VLN、UAV ON、Openfly及EmbodiedCity四大高质量仿真平台，覆盖无人机航拍、城市街道漫游等典型场景，为验证模型在复杂环境下的轨迹跟随精度与视觉一致性提供了标准化的评测框架。

实际应用

在实际产业应用中，iWorld-Bench-Dataset为自动驾驶仿真测试系统、无人机自主巡检平台及虚拟现实内容生成工具提供了关键的数据支撑。例如，自动驾驶公司可利用该数据集训练能够依据规划轨迹生成前方路况视频的预测模型，从而替代高成本的真实路测。在无人机领域，该数据集支撑了基于视觉的导航系统开发，使其能根据预设的飞行路径准确预测视野变化。此外，该数据集的模块化组织方式允许开发者按需下载特定仿真场景，降低了大规模分布式训练与评测的工程门槛。

衍生相关工作

围绕该数据集已衍生出多项引领领域发展的经典工作，其中最具代表性的是iWorld-Bench的官方基线系统，它定义了一套统一动作生成框架，将摄像机轨迹控制纳入世界模型的联合训练范式。后续研究进一步拓展了该数据集的适用边界，例如通过引入多模态指令对齐技术，使模型能够同时理解自然语言描述与轨迹规划信号。在评测方法上，相关工作提出了基于光流一致性、视角重叠度等指标的新型评估协议，有效弥补了传统视频质量度量无法捕捉运动意图的缺陷，为交互式生成的可控性研究设立了新标杆。