cosmos-predict2-openvid-stage1-93f480x832-latents

# Cosmos Predict2 OpenVid Stage1 93f/480x832 Latent Cache ## 内容 这是 Cosmos Predict2 world perception Stage1 的训练就绪 cache。数据来自 OpenVid perception 98 个 part，用于训练 RGB observation 条件下联合预测未来 RGB、mask 和 depth 的 I2V 模型。 - 样本数：82,869 - 像素序列：93 frames，480x832 - tokenizer：Cosmos Predict2 `Wan2pt1VAEInterface` - latent shape：`float16 [48, 24, 60, 104]` - 模态顺序：RGB、mask、depth，各 16 channels - 文本条件：T5，`float16 [512, 1024]` - 条件帧：RGB t0 latent，mask/depth 只作为预测目标 Tokenizer checkpoint SHA256： ```text 38071ab59bd94681c686fa51d75a1968f64e470262043be31f7a094e442fd981 ``` 这不是 Wan2.2 Stage1 的 144ch cache。两者 tokenizer、channel 数、时空压缩率和训练代码均不同，不能混用。 ## 文件结构 ```text README.md cache_config.json manifest.jsonl SHA256SUMS _CACHE_COMPLETE _SUCCESS shards/ part-00000-of-00028-000000000-000003000.h5 ... part-00027-of-00028-000081000-000082869.h5 ``` 每个完整 shard 最多包含 3000 条样本，约 46.3GB，HDF5 数据集为： ```text perception_latent_state float16 [N, 48, 24, 60, 104] t5_text_embeddings float16 [N, 512, 1024] t5_text_length uint16 [N] source_index int64 [N] ``` HDF5 采用单样本 chunk 且不压缩，便于多 worker 随机训练读取。`manifest.jsonl` 保存 `dataset_index -> shard_path/cache_row` 映射以及 sample ID 和 prompt。 ## 下载与训练 ModelScope dataset： ```text Tacogu/cosmos-predict2-openvid-stage1-93f480x832-latents ``` OSS 权威备份： ```text oss://carbon-inverse/youping/b200/world_perception_action_train/datasets/cosmos_openvid_stage1_cache/openvid_all_93f_480x832_wan2pt1_v1/ ``` 训练前应把完整 cache 下载到节点本地 NVMe 或高吞吐 NAS。不要在训练 DataLoader 中直接对 ModelScope 或 OSS 上的 HDF5 做随机 range read。 训练环境变量： ```bash export WORLD_PERCEPTION_LATENT_CACHE_ROOT=/path/to/openvid_all_93f_480x832_wan2pt1_v1 ``` 设置后，`predict2_world_perception_pretrain_future_only` 会使用 cache-only dataset，直接返回 latent 和 T5 embedding，不再读取 OpenVid MP4/PNG/NPZ，也不会在训练 step 中执行三次 VAE encode。 ## 完整性检查 完整发布必须同时满足： ```bash test -f "$CACHE_ROOT/_SUCCESS" test -f "$CACHE_ROOT/cache_config.json" test -f "$CACHE_ROOT/manifest.jsonl" test -f "$CACHE_ROOT/SHA256SUMS" test "$(find "$CACHE_ROOT/shards" -maxdepth 1 -name '*.h5' | wc -l)" -eq 28 test "$(wc -l < "$CACHE_ROOT/manifest.jsonl")" -eq 82869 ``` `_CACHE_COMPLETE` 只表示本地构建完成；`_SUCCESS` 表示全部 28 个 shard 和 metadata 已同时上传 OSS 与 ModelScope。下载后应使用 `sha256sum -c SHA256SUMS` 校验 shard。 ## 生成口径 当前 8 卡 H20 构建使用： ```text 8 GPUs batch size = 4 / GPU 2 DataLoader workers / GPU float16 storage 3000 rows / shard ``` 单卡实测：batch 1、2、4 的 VAE 单样本吞吐接近，约 10.9--11.0 秒/样本；batch 4 稳态峰值显存约 57.5GiB。8 卡 smoke 和正式首批的 CUDA peak allocated 最高约 62.5GiB。选择 batch 4 是为了减少 DataLoader 和 HDF5 写入调用，同时保留充足显存余量。