World_model_sim

World_model_sim 是一个托管在 Hugging Face Hub 上的数据集，主要包含记录的 SO-100 遥操作数据。该数据集未存储在 Git 中，需通过 Hugging Face Hub 下载。数据组织分为两个主要部分：原始数据（raw）和已处理数据（processed）。原始数据按任务分类，包括 single_cube 和 multi_cube 两个子目录，其中可能包含遥操作（teleop）和 Dagger 算法等不同类型的数据记录。已处理数据则以 Zarr 存储格式保存，同样按任务划分，可直接供训练脚本使用。数据集附带一个 Python 脚本（prepare_data.py）用于验证数据和模拟环境。该数据集适用于机器人控制、世界模型或模拟学习等相关机器学习任务的训练与评估。

原始信息汇总

数据集概述

该数据集由 PrajnaYang 发布，名为 World_model_sim，主要用于记录 SO-100 遥操作（teleoperation）数据，并供世界模型或相关训练脚本使用。

数据结构

数据集在 Hugging Face Hub 上托管，下载后包含以下两级目录结构：

• raw/
  存放原始遥操作轨迹数据，按任务划分：

  • single_cube/：包含 teleop（遥操作）和 dagger（DAgger 算法）两类数据
  • multi_cube/：包含 teleop 数据

• processed/
  存放经过处理后的 Zarr 格式存储文件，供训练脚本直接使用：

  • single_cube/：包含多个 .zarr 文件
  • multi_cube/：包含多个 .zarr 文件

下载方式

可通过以下命令将完整数据集下载到本地：

bash pip install "huggingface_hub[cli]"

fetch everything into ./datasets/

hf download PrajnaYang/World_model_sim --repo-type dataset --local-dir datasets

附带说明

下载完成后，可运行 python scripts/prepare_data.py 脚本来验证数据的完整性与模拟环境的正确性。该脚本未包含在数据集中，需用户在本地环境中另行准备。

搜集汇总

数据集介绍

构建方式

World_model_sim数据集源自SO-100遥操作实验的记录数据，原始数据存放于Hugging Face Hub平台，通过指令`hf download`即可便捷获取。数据集在结构上划分为原始数据目录与预处理数据目录：前者包含单立方体与多立方体两类任务场景下的遥操作及Dagger模式记录；后者则存储经过格式转换的Zarr文件，专供训练脚本直接调用，并内置了`prepare_data.py`脚本用于数据验证与仿真环境适配，确保了数据从采集到使用的完整流程闭环。

特点

该数据集最大的特色在于其分层组织与针对性设计。原始数据覆盖了单立方体与多立方体两种复杂度递增的任务场景，并分别提供了标准遥操作与Dagger交互式学习两种采集模式，能够支持模仿学习与强化学习等多种算法的评测需求。预处理阶段的Zarr存储格式高效紧凑，利于大规模训练数据的快速读取，同时保留了与仿真环境的直接接口，使得从数据到策略训练再到仿真测试的迭代过程高度顺畅。

使用方法

使用者可通过Hugging Face Hub命令行工具轻松下载完整数据集至本地指定目录。下载后的数据集包含`prepare_data.py`脚本，自动完成数据验证与仿真环境初始化。训练时，直接调用`processed/`目录下的Zarr文件即可，无需额外处理。特别建议先运行数据准备脚本确保文件完整性，随后根据任务需求选择`single_cube`或`multi_cube`子集，结合对应遥操作或Dagger模式记录开展策略学习或模型验证实验。

背景与挑战

背景概述

World_model_sim数据集由PrajnaYang团队创建，旨在为世界模型在机器人操控任务中的仿真训练提供标准化数据。该数据集聚焦于SO-100遥操作环境，记录单立方体与多立方体操作任务的高质量交互轨迹，以支持机器人从遥操作演示中学习复杂操控技能。通过将遥操作数据（包括直接操控与交互式专家引导数据）转化为可被训练脚本直接消费的zarr存储格式，该数据集约简了从原始数据采集到模型训练之间的处理流程。其在机器人学习领域的影响力在于，为世界模型的泛化能力研究提供了具备多模态与任务多样性的基础数据资源，推动了对机器人操作中状态预测与策略学习协同机制的探索。

当前挑战

该数据集所解决的领域挑战聚焦于机器人操控任务的仿真训练，核心问题在于如何从有限的遥操作演示中高效学习可泛化的世界模型。具体挑战包括：遥操作数据的非结构化分布要求算法具备从稀疏样本中提取运动模态的能力；数据采集过程中，单臂与双臂操作任务的切换增加了模型对任务拓扑变化的适应性需求。构建过程中面临的挑战则体现在数据质量保障层面，原始遥操作数据存在噪声与任务歧义，需通过统一的数据预处理流程（如zarr存储格式转换）来剔除异常轨迹并标准化观测空间。此外，多场景数据（如单立方体与多立方体任务）的同步采集与标注，对硬件系统的稳定性与同步精度提出了严苛要求，以确保仿真环境的真实感与模型训练的可复现性。

常用场景

经典使用场景

World_model_sim数据集旨在为机器人操控任务中的世界模型学习提供标准化评估平台，其经典使用场景集中在通过遥操作数据训练生成式世界模型，从而预测未来状态并辅助策略优化。该数据集包含单立方体与多立方体两种复杂度的操控任务，记录了人工遥操作（teleop）与Dagger算法交互的完整轨迹，并以zarr格式存储处理后的观测-动作序列，可直接用于隐式行动者-评论家、基于扩散的世界模型或时序差分学习的验证。研究者常利用其多模态数据流评估模型在多物体交互中的物理推理能力，例如通过预测立方体堆叠过程中的三维位置变化来检验动态模型的泛化性。

衍生相关工作

该数据集衍生出多项标志性学术工作，包括利用扩散概率模型构建可逆世界模型的DWM（Diffusion World Model）算法，以及基于时序差分学习的隐式世界模型TD-MPC。研究者还基于其多物体场景提出了组合神经场（Compositional Neural Fields）方法，用于解耦动态系统中各物体的独立状态表示。在工作空间预测领域，衍生出的GNN-GPI方法通过图神经网络将数据集中的交互图结构直接编码到预测网络，实现了对未见物体配置的零样本泛化。此外，数据集的dagger子集直接启发了交互式强化学习中的混合策略蒸馏技术，该技术现已成为机器人技能迁移研究中的标准组件。

数据集最近研究

最新研究方向

World_model_sim数据集聚焦于机器人遥操作数据的记录与处理，为世界模型在仿真环境中的训练与验证提供了高质量的基准数据资源。当前前沿研究方向主要围绕如何利用该数据集推动基于视觉的运动规划与技能学习，特别是在单目标与多目标操作任务中的泛化能力。该数据集的问世与具身智能领域的热点事件紧密相连，例如最近大语言模型与机器人控制策略的交叉融合，使得学习型世界模型能够更好地捕捉环境动态并实现零样本迁移。通过提供标准化、经过预处理的Zarr格式数据，该数据集显著降低了研究者复现和对比实验结果的门槛，有望加速仿真到现实迁移技术的突破，对推动自主操控系统的鲁棒性与可扩展性具有深远影响。