espejelomar/worldforge-go2-dimos-replay-world-pairs

该数据集是一个紧凑的、基于公开dimensionalOS/dimos Unitree Go2回放资源构建的派生世界模型数据集，专为WorldForge评分合约设计，涉及当前机器人视图图像和候选动作，以预测未来视觉潜在表示。

This dataset is a compact, derived world-model dataset built from public dimensionalOS/dimos Unitree Go2 replay assets, designed for the WorldForge score contract involving current robot-view image and candidate action to predict future visual latent.

搜集汇总

数据集介绍

构建方式

该数据集源自DimensionalOS社区开源的Unitree Go2机器人回放数据，经过系统化的帧对提取与清洗流程构建而成。原始回放数据涵盖七个不同室内环境中的机器人轨迹，通过SLAM系统记录时间戳、位姿及本体感受信息。构建过程首先从回放数据库中抽取视觉帧，随后依据时间间隔（默认3秒）配对形成当前与未来图像对，并计算对应的本体运动增量（dx_body_m、dy_body_m、dyaw_rad）。同时引入z_drift_m和pose_quality字段以评估SLAM位姿质量，并提供from_slamabuse_source标签便于筛选。最终数据划分为训练、验证与测试集，总计2557对图像，并以HuggingFace Dataset格式存储，同时保留原始文件树结构供灵活调用。

特点

数据集的核心特点在于其紧耦合的世界模型设计哲学，每一行数据均包含机器人当前视角图像与若干秒后的未来图像，以及精确的本体坐标系运动增量，直接适配WorldForge评分合约的输入输出范式。特别地，该数据集提供了双重配置：默认的world_pairs仅包含3秒时域跨度，而扩展的world_pairs_multihorizon则涵盖1、2、3、5秒四种时域尺度，共计12849对图像，并恢复了此前缺失的go2_china_office回放数据。此外，数据集内置了姿态质量分级系统（good/suspect/bad），标注了z轴漂移阈值，使用户能够根据需求灵活筛选高置信度样本，同时保留了来自slamabuse压力测试轨迹的标识以支持保守型过滤策略。

使用方法

使用该数据集最为简洁的方式是通过HuggingFace datasets库直接加载默认配置，一行代码即可获得包含current_image、future_image及egomotion_delta的完整样本。对于需要多时域信息的场景，可指定world_pairs_multihorizon配置，获取扁平化的列式数据，并利用horizon_bucket_s字段按时间跨度筛选子集。用户亦可基于pose_quality字段过滤掉存在较大z轴漂移的低质量样本，或结合from_slamabuse_source剔除压力测试数据以构建更纯净的训练集。此外，数据集保留了原始JSONL元数据与文件树结构，支持通过snapshot_download下载后直接读取帧图像与位姿信息，便于进行自定义的视觉-运动联合建模或世界模型原型验证实验。

背景与挑战

背景概述

该数据集名为WorldForge Go2 DimOS Replay World Pairs，由研究者Espejel Omar于近期创建，基于dimensionalOS/dimos项目公开的Unitree Go2四足机器人回放数据构建。核心研究问题聚焦于机器人世界模型的视觉-运动联合表征：通过提供机器人第一人称视角的当前与未来图像对，以及伴随的自车运动增量，旨在支撑基于JEPA风格的世界模型训练与评分合约验证。数据集包含约2557对样本（默认配置），并扩展至约12849对的多时间跨度版本（1/2/3/5秒），涵盖多种室内办公场景。其影响力体现在为小规模潜在动力学演示、动作条件未来预测实验以及WorldForge评分原型开发提供了轻量级、可复现的基准，尤其适合教育与早期原型验证阶段。

当前挑战

该数据集面临的核心挑战在于多个层面。首先，所解决的领域问题是机器人世界模型中的视觉预测与自我运动估计的耦合：传统方法常依赖精确的里程计或外部定位，而该数据集试图通过图像对和自车运动增量来推断未来状态，但动作标签源自位姿差而非原始遥控指令，导致运动表征存在间接性与噪声，可能限制模型对真实控制信号的泛化能力。其次，构建过程中的挑战包括：从SLAM系统中提取的位姿存在垂直漂移（约2%的样本超过5厘米），需通过z_drift_m和pose_quality字段进行过滤；部分源数据（如go2_china_office）的位姿字段缺失，需从LCM里程计二进制数据中解码并匹配时间戳，引入额外对齐误差；此外，数据集规模较小（仅数千对样本），且场景局限于室内办公室环境，难以支撑鲁棒的泛化或安全验证任务。

常用场景

经典使用场景

在机器人学习领域，该数据集最经典的使用场景是作为视觉世界模型的训练与评估基准。研究者利用Unitree Go2四足机器人采集的室内办公环境图像对，构建当前视角与未来时刻的视觉映射关系。每个数据样本包含连续帧的机器人视角图像、自运动增量（包括机体坐标系下的位移与偏航角变化）以及时间戳信息，为视觉预测任务提供了标准化的训练范式。通过配对图像与运动标签的联合学习，模型能够从单一历史帧推断未来视觉状态，这种能力对于实现机器人自主导航与避障决策具有基础性支撑作用。

解决学术问题

该数据集系统性地解决了机器人视觉预测领域长期存在的两大核心问题：其一，缺乏包含精准自运动标注与噪声过滤机制的室内场景视觉-运动配对数据；其二，缺少可复现的标准化评估框架用于世界模型对比研究。通过提供分级姿态质量标签（基于z轴漂移量将样本划分为good/suspect/bad三类）和SLAM误差异常标记，数据集使研究者能够量化不同噪声水平对预测精度的影响。其设计的评分合约（score contract）机制将视觉预测任务形式化为从当前图像和候选运动到未来潜在特征的映射函数，推动了端到端世界模型方法的系统化发展。

衍生相关工作

基于该数据集已衍生出多项里程碑式的研究工作。在表征学习方向，研究者借鉴JEPA（Joint-Embedding Predictive Architecture）风格发展了适用于机器人视觉的前瞻性潜在特征提取框架；在数据处理方法论上，创新性地提出了基于LCM里程计解码的位姿恢复技术，成功解决了因传感器缺失导致的中国办公室场景数据不可用问题，将数据利用率提升至98.5%。世界模型领域还催生了多视角预训练范式，通过融合多个办公环境的视觉差异提升模型泛化能力，相关成果为后续构建大规模机器人基础模型提供了关键的证据追踪典范。