WorldModel Data Atlas

一个以任务为先、注重证据的世界模型研究开放数据集目录。An open dataset catalog for task-oriented and evidence-focused world model research.

原始信息汇总

WorldModel Data Atlas 数据集目录概览

WorldModel Data Atlas 是一个以任务为导向、基于证据的开放数据集目录，专为世界模型（World Model）研究服务。它旨在帮助研究人员回答一个关键问题：“应该使用哪个数据集来训练或评估我所关心的世界模型能力？”

该目录不是按时间顺序罗列论文，而是根据数据集主要支持的世界模型能力进行组织，并辅以领域、模态、结构、来源、获取方式和许可证等元数据。

核心特性

• 任务优先组织: 从您想训练或评估的能力（如预测、决策）出发浏览数据集。
• 研究导向元数据: 便于比较模态、规模、结构、来源、获取方式和许可证。
• 双语内容: 提供英文和简体中文的README，网站支持语言切换。
• 精选资源链接: 提供官方主页、论文和代码仓库的链接。
• 基于证据的注释: 帮助理解数据集的有用属性和重要局限性。
• 可复现的维护: 从单一数据源生成网站和两个README目录。

该目录是精选的研究资源，而非排名列表。网站上提供的详细适用性说明比单一的聚合分数更具参考价值。

目录快照

指标	数量
数据集总数	306
主要任务 (Primary tasks)	6
领域 (Domains)	6
模态 (Modalities)	45

分类体系 (Taxonomy)

每个数据集都明确归属一个主要任务，次要用途和跨领域特性则以标签形式呈现。

维度	解决的问题	示例
主要任务 (Primary task)	它主要用于训练或评估什么能力？	预测、动作条件动力学、决策制定
领域 (Domain)	数据在哪种世界中收集？	机器人技术、驾驶、游戏、物理
模态 (Modality)	有哪些信号可用？	视频、动作、机器人状态、LiDAR、语言
结构 (Structure)	样本如何组织？	时间序列、轨迹、交互片段
来源 (Source)	数据是如何产生的？	真实世界、仿真、远程操作、合成

六项主要任务 (Primary Tasks):

1. 预测与生成动力学 (Predictive & Generative Dynamics): 未来观测或状态预测、视频预测以及长程生成。
2. 动作条件动力学 (Action-Conditioned Dynamics): 学习世界如何响应动作而变化。
3. 决策制定与智能体轨迹 (Decision-Making & Agent Trajectories): 规划、控制、模仿学习、离线强化学习以及智能体行为。
4. 空间与时空世界建模 (Spatial & Spatiotemporal World Modeling): 3D/4D重建、占用率、场景流以及动态空间表示。
5. 物理与因果推理 (Physical & Causal Reasoning): 物理特性、交互、干预及反事实推理。
6. 世界模型评估与诊断 (World Model Evaluation & Diagnostics): 主要用于测量模型能力和失败模式的数据集。

如果某个数据集只能保留一种用途，其最具特色的世界模型用途将成为其首要任务。

数据集目录示例

以下为按主要任务分组的部分数据集示例：

预测与生成动力学 (Predictive & Generative Dynamics) - 共34个

• Ego4D (2022): Meta AI 等机构发布的大型第一人称真实人类活动视频数据集，包含物体交互预测和长期动作预测基准。
• EPIC-KITCHENS-100 (2022): 大规模第一人称厨房活动数据集，包含连续视频、动作片段、动词-名词标签及手-物交互预期基准。
• Kubric (2022): 生成具有精确3D、光流、深度和分割标注视频的流程。
• AMASS (2019): 统一了15个动捕数据集的4D人体运动数据库，使用统一的SMPL表示，用于运动预测和生成。
• Moving MNIST (2015): 经典的视频预测基准，通过移动MNIST数字生成，用于时间表示和不确定性未来建模。

动作条件动力学 (Action-Conditioned Dynamics) - 共41个

• AgiBot World 2026 (2026): 包含步骤、成功帧、错误原因和恢复标注的真实场景多视角机器人操作数据集。
• kine2go (2026): 将动物和四足动物动捕数据重定向至Unitree Go2参考轨迹和策略的数据集。
• Open Locomotion Skills Dataset (2026): 跨腿式机器人形态的统一步态轨迹、地形元数据和sim-to-real工具集。

(注：由于您提供的README内容未完整，此部分仅展示了“动作条件动力学”类目前几个数据集的概览，全部41个数据集的完整列表可在原始目录中查看，后续分类如“决策制定与智能体轨迹”、“空间与时空世界建模”、“物理与因果推理”和“世界模型评估与诊断”等也包含详细条目。)

如何访问和贡献

• 浏览网站: 您可以通过交互式网站 https://aiworldmodel.github.io/world-model-dataset/ 进行搜索、过滤、查看双语显示和详细比较。
• 浏览目录: README文件本身是可浏览的社区目录。
• 贡献与修正: 您可以通过仓库的“贡献”部分参与维护和完善该目录。

搜集汇总

数据集介绍

构建方式

WorldModel Data Atlas 是一个面向世界模型研究的开放数据集目录，其构建方式以任务优先为核心，依据数据集所支撑的世界模型能力进行组织。该目录收录了306个数据集，每个数据集被精确归入六大主要任务之一，如预测与生成动力学、动作条件动力学、决策与智能体轨迹等。同时，从领域、模态、结构、来源和访问方式等维度提供详尽的元数据，确保研究者能够快速定位所需资源。催化信息与代码链接均指向官方源，并辅以编辑注释，阐明数据集的适用特性与关键局限，构建了一个严谨且可复现的研究资源库。

使用方法

研究者可通过两种途径利用WorldModel Data Atlas。首先，在GitHub仓库中按任务分类浏览数据集快照，查看条目所附的官方链接与访问条件，直接跳转至数据集主页或代码仓库获取数据。其次，交互式网站提供搜索、筛选、双语展示及详细比较功能，支持研究者依据具体研究需求，如模态、领域或结构，进行精细化检索。网站上的详细适用性说明比单一评分更具指导意义，帮助用户评估数据集与其训练或评估目标之间的匹配度。此外，用户可遵循维护指南参与贡献或纠错，共同丰富这一社区资源，实现数据集的持续优化与生态共建。

背景与挑战

背景概述

WorldModel Data Atlas是一份由国际研究团队创建于2026年前后的任务优先、证据感知的开放数据集目录，旨在为世界模型研究提供数据集选择的系统化指南。该目录收录了306个数据集，覆盖预测与生成动力学、行动条件动力学、决策与智能体轨迹、空间与时序世界建模、物理与因果推理以及世界模型评估与诊断六大核心任务。其设计理念跳脱了传统的时间顺序列表，转而围绕研究者关心的世界模型能力进行组织，整合了领域、模态、结构、来源、访问及许可等多维元数据，并支持双语呈现。该项目通过交互式网站与GitHub目录的双轨形式，为学术界和工业界提供了可复现、可搜索的资源平台，促进了世界模型研究的数据标准化与跨领域比较，成为该领域重要的公共参考资源。

当前挑战

该数据集目录面临的挑战首先体现在领域问题的复杂性上：世界模型研究横跨计算机视觉、机器人学、自动驾驶与物理推理等多个方向，不同任务对数据的能力需求差异显著，例如预测未来状态、学习行动后果或进行反事实推理，这使得统一的分类体系难以全面捕捉数据的细微用途。其次，数据集构建过程中需应对海量数据的异构性，包括模态多样（视频、点云、状态序列等）、来源差异（真实采集与仿真合成）及许可分歧，均需审慎编目与标注。此外，数据集的动态更新与维护也构成持续挑战，需确保跨学科、跨年份资源的完整性与时效性，同时避免冗余记录，平衡详尽的适宜性说明与用户快速浏览的便捷性。

常用场景

经典使用场景

WorldModel Data Atlas 为世界模型研究提供了一套任务优先的组织框架，使研究者得以依循预测性生成动力学、动作条件动力学、决策与智能体轨迹等六大核心能力维度，精准锁定适配的数据资源。在经典使用场景中，研究者可基于该目录快速筛选多模态、跨域的数据集，例如针对视频预测任务比对 Ego4D 与 Kubric，或依据动作条件动力学需求选择 AgiBot World 等具身智能数据，进而开展模型训练与效能评估，极大提升了数据检索与实验设计的效率。

解决学术问题

该数据集目录有效破解了世界模型研究中长期存在的数据发现与选择困境，即研究者难以从纷繁的文献列表和分散的仓库中定位契合特定能力评估所需的数据。通过系统化的元数据标注，涵盖模态、规模、来源与许可等维度，并辅以证据感知的局限说明，它促进了跨子领域的可重复对比分析，助力学术共同体厘清不同数据对模型能力的支持边界，从而推动了世界模型训练与评估方法论的科学化与标准化进程。

实际应用

在实际应用中，该目录为工业界与学术界构建世界模型提供了宝贵的导览工具。自动驾驶研发团队可借助其空间与时空建模类目下的 Argoverse、BDD100K 等数据集，优化轨迹预测与场景理解算法；机器人领域从业者则可依托动作条件动力学与决策类目中的大规模操作数据，如 AgiBot World 及开源运动技能集，进行模仿学习与策略部署。同时，其交互式网站支持双语检索与精细对比，极大便利了跨团队协同与资源整合。

数据集最近研究

最新研究方向

WorldModel Data Atlas 作为一项前沿的数据资源导航工具，正引领世界模型研究从传统的按时间排序的论文列表转向以任务为中心的编目范式。其深度聚焦于预测与生成动力学、动作条件动力学、决策与智能体轨迹等六大核心任务，并整合了Ego4D、Procgen等经典及最新数据集，涵盖了从机器人操作到自动驾驶的多元领域。该图谱的兴起，不仅顺应了具身智能与多模态学习的热潮，更通过证据感知的精细标注，为跨模态、跨域的世界模型训练与评估提供了关键支撑，有力地推动了模型从感知向理解与推理的深层进化，其影响力正日益彰显。