sazirarrwth99/kinema4d-smoke10

kinema4d-smoke10数据集包含10个编码的DROID剪辑，用于作为Kinema4D训练器的生产门控烟雾测试。这不是一个研究数据集，而是最小可行的真实输入，允许在真实Wan2.1-I2V-14B + 4DNeX-LoRA权重上运行单个`vendors/Kinema4D/finetune.py --train_steps 10`端到端，执行与完整DROID训练运行相同的代码路径。数据集包括视频潜在表示、掩码视频潜在表示、点图潜在表示、掩码点图潜在表示、接触流占用掩码、第一帧RGB图像以及两个指向磁盘路径的文本文件。这些剪辑选自四个不同的DROID记录和两个相机外部参数，以确保烟雾测试能够捕捉到每个记录和每个相机的回归问题。数据集的潜在表示是通过DROID编码阶段生成的，编码器使用固定种子以确保再现性。数据集的使用方法包括在特定分支的contact_flow代码库中运行测试脚本。数据集的许可证遵循上游DROID数据集的使用条款。

The kinema4d-smoke10 dataset consists of ten encoded DROID clips used as the production-gate smoke for the Kinema4D trainer. This is not a research dataset but the minimum-viable real input that enables a single `vendors/Kinema4D/finetune.py --train_steps 10` run to execute end-to-end on real Wan2.1-I2V-14B + 4DNeX-LoRA weights, exercising the same code path as the full DROID training run. The dataset includes video latents, masked video latents, pointmap latents, masked pointmap latents, contact-flow occupancy masks, first-frame RGB images, and two text files pointing to on-disk paths. The clips are selected from four distinct DROID recordings and two camera extrinsics to catch per-recording and per-camera regressions. The latents are produced by the DROID encode-stage with a fixed seed for reproducibility. Usage involves running test scripts in a specific branch of the contact_flow repository. The datasets license adheres to the upstream DROID dataset terms.

搜集汇总

数据集介绍

构建方式

kinema4d-smoke10 数据集是专为 Kinema4D 训练器设计的轻量级生产门控烟雾测试集。其构建方式基于从 DROID 数据集中精心挑选的十个片段，这些片段跨越四个不同的 DROID 录制记录和两组相机外参，确保覆盖多录制与多相机场景的回归检测。每个片段经过 VAE 编码，生成 RGB 潜在表示、掩码 RGB 潜在表示（作为 I2V 种子）、点图潜在表示（接触流目标）以及掩码点图潜在表示等结构化文件。此外，还包含第一帧图像用于 I2V 条件化，以及空提示的 CLIP 嵌入以加速训练器重用。所有编码过程由 Kinema4D 供应商提供的编码器完成，并在固定随机种子下确保可复现性。

特点

该数据集的核心特点在于其最小化与确定性。仅包含十个片段，总量远低于 1K 规模，却能够驱动 Wan2.1-I2V-14B 与 4DNeX-LoRA 权重的完整端到端训练流程，执行与全量 DROID 训练相同的关键代码路径。数据集采用多模态潜在表示格式，包括视频潜在、掩码视频潜在、点图潜在等，支持接触流目标的训练需求。同时，其布局中的两个文本文件指向实际路径，模拟真实数据加载环境，确保训练器路径检查通过。这种设计使得数据集成为捕获训练器回归漏洞的最小可行真实输入，而无需加载约 300 GB 的完整 DROID 分片。

使用方法

使用方法通过配套的 contact_flow 代码库组织。用户需在 cluster/docker-reproducibility 分支下运行 'tests/run.sh real-data' 命令，该脚本调用 'tests/fetch_real_data.sh' 通过 huggingface_hub 解析并缓存数据集至 $SMOKE_DATA_ROOT/data_real/ 目录。随后，Slurm 包装脚本 'tests/smoke_real.slurm' 执行 'vendors/Kinema4D/finetune.py --train_steps 10' 命令，针对缓存副本进行十步微调训练。数据集的许可证遵循上游 DROID 数据集条款，仅用于确定性烟雾测试目的。

背景与挑战

背景概述

kinema4d-smoke10数据集诞生于4D世界模型与视频生成模型快速迭代的背景下，由开发者Samia Zirar创建，旨在为Kinema4D训练器提供生产级烟道测试。该数据集的核心研究问题在于验证Wan2.1-I2V-14B与4DNeX-LoRA权重结合下的端到端训练流程，确保代码路径的完整性与可复现性。尽管其规模极小（少于1K样本），但通过精选来自DROID数据集的十段编码视频片段，覆盖多记录与相机外参，显著提升了训练管线对回归错误的检测能力。该数据集虽非正式研究用基准，却为4D场景理解与视频生成领域的工程实践提供了关键的质量保障工具。

当前挑战

该数据集面临的核心挑战在于，其轻量级设计需在有限样本中有效捕捉训练管线的潜在缺陷，包括多视角几何重构中的接触流估计误差、视频编解码过程中的信息丢失，以及不同记录之间相机外参漂移导致的泛化性问题。构建过程中，编码器需处理RGB与点映射的联合重建，同时保持与DROID原始数据的一致性，但VAE采样噪声的存在使得位精确复现依赖于固定随机种子，增加了流程控制的复杂度。此外，数据集的极小规模使其难以覆盖复杂场景的多样性，需依赖设计精良的采样策略以维持烟道测试的可靠性，这对构建逻辑提出了严苛要求。

常用场景

经典使用场景

kinema4d-smoke10 数据集是专为 Kinema4D 训练框架设计的轻量级生产验证测试集，其核心用途在于确保端到端训练流程的完整性。该数据集精选了来自 DROID 数据集的十个编码片段，涵盖四种不同的录制场景与两种相机外参，以极小的数据规模（不足1000条记录）复现完整的训练流水线——从 VAE 编码的 RGB 与点图潜变量，到遮罩条件输入，再到接触流占用掩码。开发者通过运行 `--train_steps 10` 的微调脚本，即可在真实权重（如 Wan2.1-I2V-14B 与 4DNeX-LoRA）上触发与全量 DROID 训练完全一致的代码路径，从而高效检出因环境配置或代码变更导致的回归问题。

解决学术问题

在 4D 世界模型与视频生成的研究领域，大规模数据集的训练流程高度复杂且依赖特定计算环境，传统研究方法常面临两大痛点：其一，代码修改后缺乏快速验证手段，直至全量训练启动才能暴露隐性错误；其二，跨平台或容器环境下的可复现性难以保证。kinema4d-smoke10 数据集通过提供最小可行真实输入，精准解决了训练管线中的回归检测难题。其意义在于将验证粒度从“小时级”的全量训练缩减至“分钟级”的烟雾测试，使研究者能够在迭代过程中即时确认数据编码、模型加载与梯度传播等关键环节的健壮性，从而显著提升研发效率并降低试错成本。

衍生相关工作

尽管 kinema4d-smoke10 本质上是工程验证数据集，但其设计哲学催生了若干重要的衍生方向。首先，该数据集验证了从 DROID 原始视频到多模态潜变量（RGB、点图、接触流占用掩码）的编码管线具有可复现性，这为后续 4DNeX 系列模型在机器人接触感知任务中的落地提供了底层数据保障。其次，其“最小真实输入”理念被引入到以 `contact_flow` 仓库为代表的 docker 可复现性实践中，推动了大规模训练流程的标准化 smoke test 方法学。此外，该数据集与 DROID 数据集的紧密关联，促使研究者重新审视数据压缩与潜变量采样噪声对最终模型性能的影响，间接促进了更鲁棒的 VAE 编码器与训练稳定性改进工作。