DynamicWAM-data
收藏资源简介：
DynamicWAM (w/o motion) 训练数据集是一个为模仿学习任务设计的机器人操作数据集，源自 DOMINO 项目。该数据集不包含完整的 DynamicWAM 模型使用的显式数值绝对运动描述符标记，但保留了四个历史光流间隔（表示为 Flow RGB）。数据内容包括对齐的视频潜变量、动作/状态目标、历史光流 RGB、语言嵌入、帧索引和元数据，格式为自定义的 Safetensors 训练格式。数据集包含 35 个任务、26,019 个回合（其中 5,207 个干净回合，20,812 个随机回合），共有 3,455,662 个打包样本，分布在 346 个主数据分片中，总逻辑载荷大小约 2.00 TiB。动作/状态维度为 14，动作块大小为 16，未来潜变量序列为 8 帧，复合视频大小为 384×320。历史光流来自头部视角，四个间隔，使用 64×64 Farneback 光流和 P99 归一化。该数据集适用于机器人操作领域的模仿学习、视频潜变量建模、光流分析等任务。许可证为 Apache-2.0。
DynamicWAM (w/o motion) training dataset is a robotic manipulation dataset designed for imitation learning tasks, derived from the DOMINO project. It does not include the explicit numerical absolute motion descriptor tokens required by the full DynamicWAM model, but retains four historical optical flow intervals (denoted as Flow RGB). The dataset contents include aligned video latents, action/state targets, historical optical flow RGBs, language embeddings, frame indices and metadata, stored in the custom Safetensors training format. The dataset contains 35 tasks, 26,019 episodes (including 5,207 clean episodes and 20,812 randomized episodes), with a total of 3,455,662 packed samples distributed across 346 primary data shards, and a total logical storage size of approximately 2.00 TiB. The action/state dimension is 14, the action block size is 16, the future latent sequence spans 8 frames, and the composite video resolution is 384×320. The historical optical flow data is captured from the egocentric head viewpoint, with four intervals, utilizing 64×64 Farneback optical flow and P99 normalization. This dataset is applicable to tasks such as imitation learning, video latent modeling, and optical flow analysis in the robotic manipulation field. The license is Apache-2.0.
数据集概述
DynamicWAM（无运动）训练数据 是一个用于机器人操作模仿学习的训练语料库，是完整 DynamicWAM 模型（不含显式数值绝对运动描述符 token）的打包版本。该数据集是上游 H-EmbodVis/DOMINO 的无损打包衍生品，而非原始 RGB 数据集的副本。
核心信息
| 项目 | 详情 |
|---|---|
| 任务数 | 35 |
| 回合数 | 26,019 |
| 干净回合 | 5,207 |
| 随机化回合 | 20,812 |
| 打包样本数 | 3,455,662 |
| 主数据分片 | 346 |
| 负载文件数 | 82,008 |
| 逻辑负载大小 | 2,199,796,269,773 字节（2.00 TiB） |
| 文件指纹 | bc20355aa094585499c2ade05d8bcfdb1f082aabc73259ebcded694e3301c425 |
| 许可证 | Apache-2.0 |
数据内容与格式
- 存储内容：对齐的视频潜变量、动作/状态目标、历史 Flow RGB、语言嵌入、帧索引和元数据。
- 格式：自定义的基于 Safetensors 的训练格式（版本 2），并非 Hugging Face Dataset Viewer 可直接加载的标准格式。
- 动作/状态维度：14；动作块大小：16。
- 未来潜变量序列：8 帧；合成视频尺寸：384×320。
- 历史流：头部视角，四个时间间隔的 64×64 Farneback 光流，采用 P99 归一化和固定原始步长。
- 时间契约：
model_policy_index_aligned_v1；不包含物理模拟器时间戳。
仓库结构
dynamicwam_wo_motion/ ├── dataset.json ├── stats.json ├── action_stats.json ├── episodes.jsonl ├── samples.jsonl ├── shards/ │ ├── shard_.safetensors │ └── shard_.json └── lang/ ├── lang.json └── shards/ ├── bucket_000/ ... bucket_040/ DATASET_RELEASE.json FILE_LAYOUT.json PAYLOAD_MANIFEST.jsonl SHA256SUMS tools/materialize_training_layout.py
语言分片被分桶存储以满足 Hugging Face 每目录文件数限制；仓库提供了物化工具（tools/materialize_training_layout.py）来创建训练加载器所需的扁平兼容视图，且不复制负载字节。
命名区分
- “w/o motion” 表示不含完整 DynamicWAM 模型引入的显式数值绝对运动描述符 token，但仍包含四个历史光流间隔（Flow RGB）。
- 对于完整 DynamicWAM 使用的精确模拟器时间语料库，请使用
KhalilGao/DOMINO_absolute_motion_v2。
下载与使用
使用 hf download 命令下载数据集，然后运行物化工具创建扁平视图。该工具支持相对符号链接模式（默认）和硬链接模式（--mode hardlink），两种模式均不复制底层负载数据。
完整性与来源
- 打包的动作统计信息的 SHA-256 为
730a91e41b6a23c70cec49cd222835373ba9364680da5753f4408c5534319b04，与发布的 DynamicWAM（w/o motion）检查点完全匹配。 PAYLOAD_MANIFEST.jsonl映射了所有逻辑路径到分桶 Hub 路径，并记录了字节大小和源修改时间。SHA256SUMS覆盖dynamicwam_wo_motion/下完整的分桶负载。
配套模型检查点
匹配的模型检查点位于 KhalilGao/DynamicWAM/checkpoints/dynamicwam_wo_motion/model.pt。
许可证说明
打包的衍生数据以 Apache-2.0 发布，与上游 DOMINO 数据/代码发布一致。语言和视频模型衍生特征仍受适用的上游模型条款约束；本数据集不包含外部模型权重。
