robomme-demo-frames

该数据集是 RoboMME 数据集的子集，专门提取了其中演示前缀（demonstration-prefix）的视频-指令帧及其对应的二进制前景掩码。RoboMME 包含 16 个机器人操作任务，其中 9 个任务（如 InsertPeg、MoveCube、PatternLock 等）包含演示前缀，共 6,024 帧；另外 7 个任务（如 BinFill、ButtonUnmask 等）本身没有演示部分，因此提供了完整的情节片段，共 6,010 帧。所有帧均来自原始 HDF5 文件，未经过裁剪、缩放或归一化处理，保留了原始 256×256 的 RGB 像素。每个任务的情节目录下包含 rgb/（RGB 图像）、mask/（1-bit 前景掩码）和 done.json（记录 kind、has_demo、demo_len、num_timesteps 以及每帧前景占比）。掩码由 ZhengPeng7/BiRefNet 全模型在 1024×1024 分辨率下生成，阈值 0.5，然后缩放到 256×256。相比之前使用的 BiRefNet_lite 模型，全模型在 58.2% 的帧上检测到更多前景，平均前景分数从 0.0795 提升至 0.0845。该数据集适用于机器人操作中的前景分割、视频理解、演示学习等任务，但需注意掩码是模型输出而非真实标注。This dataset is a subset of the RoboMME dataset, specifically extracting the demonstration-prefix video-instruction frames and their corresponding binary foreground masks. RoboMME contains 16 robotic manipulation tasks, of which 9 tasks (e.g., InsertPeg, MoveCube, PatternLock) include demonstration prefixes, totaling 6,024 frames; the other 7 tasks (e.g., BinFill, ButtonUnmask) have no demonstration part, thus providing complete episode segments, totaling 6,010 frames. All frames are taken from the original HDF5 files without cropping, scaling, or normalization, preserving the original 256×256 RGB pixels. Each tasks episode directory contains rgb/ (RGB images), mask/ (1-bit foreground masks), and done.json (recording kind, has_demo, demo_len, num_timesteps, and foreground ratio per frame). Masks are generated by the ZhengPeng7/BiRefNet full model at 1024×1024 resolution with a threshold of 0.5, then resized to 256×256. Compared to the previously used BiRefNet_lite model, the full model detects more foreground on 58.2% of frames, with the average foreground score increasing from 0.0795 to 0.0845. This dataset is suitable for foreground segmentation, video understanding, demonstration learning, etc., in robotic manipulation, but note that the masks are model outputs, not ground truth annotations.

原始信息汇总

数据集概述

RoboMME demonstration-prefix frames with foreground masks 是一个面向机器人操作场景的图像分割数据集，包含 RoboMME 数据集中演示前缀（demonstration prefix）视频指令帧及其对应的二值前景掩码。

核心内容

该数据集专门发布了 RoboMME 数据集中的演示前缀帧（即 info/is_video_demo 为 True 的视频指令帧），并为每一帧提供二值前景掩码。这些帧在常规导出流程中会被遗漏（训练管道仅在 is_demo 为 False 时写入文件），因此 RoboMME 共 769k 帧中的 292k 演示前缀帧仅存在于原始 HDF5 文件中，本数据集弥补了这一缺失。

任务划分与数据规模

16 个任务中，9 个任务包含演示前缀，7 个任务不包含，数据集将其分开存放：

目录	任务数	每任务 episode 数	总帧数	内容说明
<Task>/	9	2	6,024	仅演示前缀
no_demo_tasks/<Task>/	7	2	6,010	完整 episode（无演示部分可切）

• 含演示前缀的任务：InsertPeg、MoveCube、PatternLock、RouteStick、VideoPlaceButton、VideoPlaceOrder、VideoRepick、VideoUnmask、VideoUnmaskSwap
• 不含演示前缀的任务：BinFill、ButtonUnmask、ButtonUnmaskSwap、PickHighlight、PickXtimes、StopCube、SwingXtimes

演示长度按任务族差异显著：Video* 任务较长（如 VideoPlaceOrder 有 940 和 1105 帧），其他任务较短（如 PatternLock 仅 48 和 63 帧）。

文件结构与格式

<Task>/episode_<NNNN>/rgb/00000.png 前摄像头 256x256 RGB 图像，原始像素 <Task>/episode_<NNNN>/mask/00000.png 1 位前景掩码，与 RGB 同尺寸 <Task>/episode_<NNNN>/done.json 包含 kind、has_demo、demo_len、num_timesteps、逐帧前景占比 no_demo_tasks/<Task>/episode_<NNNN>/ 相同结构，完整 episodes demo_manifest.json 演示任务的 episode 列表 no_demo_manifest.json 无演示任务的 episode 列表

• 帧 00000 对应 episode 的绝对时间步 0，帧编号延伸至 demo_len - 1
• 在 <Task>/ 下至演示前缀末尾，在 no_demo_tasks/ 下至 episode 末尾
• 应依据 done.json 中的 kind（demo / full_episode）而非路径判断类型
• RGB 图像未经任何裁剪、缩放或归一化，预处理由使用者自行决定

前景掩码说明

掩码由 ZhengPeng7/BiRefNet 完整模型生成，在 1024x1024 分辨率下运行，阈值 0.5 后缩放回 256 分辨率。分辨率对掩码质量至关重要：低于约 512 时掩码基本为空，会导致基于前景权重的损失函数将大部分权重放在木质桌面上而非机械臂和物体上。

重要提示：掩码是模型输出而非真值。对机械臂和被操作物体较为准确，且能捕捉小型涂色标记，但不能替代仿真器分割。

掩码曾使用 BiRefNet_lite 版本生成，后改用完整 BiRefNet 重新生成（分辨率、阈值、缩放方式不变，仅更换检查点）。版本差异统计如下：

• 完整模型在 12,034 帧中 58.2% 的帧检测到更多前景
• 5.5% 的帧掩码变化超过画面面积的 2%
• 最差情况（VideoPlaceButton episode_0000 frame 00304）前景占比从 0.032 升至 0.186（lite 版本遗漏了持物体的机械臂）
• 平均前景占比从 0.0795 升至 0.0845
• 各任务变化范围从 -0.0002（PatternLock）到 +0.0176（BinFill）

done.json 中的 foreground_fraction、seg_model 和 seg_input_size 字段已同步更新以匹配新掩码。

来源与许可

• 帧源自 RoboMME 数据集，其使用受 RoboMME 许可证约束
• 掩码由 BiRefNet_lite（MIT 许可证）生成
• 本数据集中无任何人工标注内容