droid_dataset_segmentation_mask
收藏资源简介：
DROID SAM 3.1 Segmentation Masks 是一个从原始 DROID RLDS 数据集（droid_101/0.0.1）生成的掩码侧车数据集，专注于机器人领域的图像分割任务。该数据集仅包含分割掩码，不包含原始图像或动作数据，因此不重新分发 DROID 的原始图像和动作。掩码基于三个摄像头视角生成：exterior_image_1_left、exterior_image_2_left 和 wrist_image_left，对应的提示词分别为 robot manipulator、robot manipulator 和 end-effector。每个掩码是每步的语义联合，以压缩的 COCO RLE 字典形式存储（包含 size 和 ASCII 编码的 counts）。数据集以 800 帧的独立块处理 episode。数据格式为 Parquet，包含一个 default 配置，训练分割数据位于 data/*.parquet。此外，数据集提供了一个映射文件 lerobot_to_rlds_episode_mapping.parquet（共 95,658 行），用于将 LeRobot 中的 episode 索引（hf_episode_index）与 RLDS 的 episode 索引（rlds_episode_id）进行对应。该映射基于 float32 动作关节位置序列的精确相等性验证，其中 95,466 个映射是唯一的，其余 192 行形成 96 个重复等价组。数据集还包含了 SAM 源修订版本、权重集、夹爪检测器等信息，并提供了使用示例代码，展示了如何通过 episode_id 进行双向查找。该数据集适用于机器人操作场景中的分割掩码研究，尤其是与 DROID 和 LeRobot 数据集结合使用时。
DROID SAM 3.1 Segmentation Masks is a mask sidetrack dataset generated from the original DROID RLDS dataset (droid_101/0.0.1), focusing on image segmentation tasks in robotics. The dataset contains only segmentation masks, not original images or action data, thus it does not redistribute DROIDs original images and actions. Masks are generated from three camera views: exterior_image_1_left, exterior_image_2_left, and wrist_image_left, with corresponding prompt words robot manipulator, robot manipulator, and end-effector. Each mask is a semantic union per step, stored as a compressed COCO RLE dictionary (containing size and ASCII-encoded counts). The dataset processes episodes in independent chunks of 800 frames. Data format is Parquet, with a default configuration, and training segmentation data is located at data/*.parquet. Additionally, the dataset provides a mapping file lerobot_to_rlds_episode_mapping.parquet (95,658 rows) to map LeRobot episode indices (hf_episode_index) to RLDS episode indices (rlds_episode_id). The mapping is verified by exact equality of float32 action joint position sequences, with 95,466 unique mappings and the remaining 192 rows forming 96 duplicate equivalence groups. The dataset also includes SAM source revision, weight set, gripper detector, and usage example code showing bidirectional lookup by episode_id. This dataset is suitable for segmentation mask research in robotic manipulation scenarios, especially when combined with DROID and LeRobot datasets.
DROID SAM 3.1 分割掩码数据集
概述
该数据集是基于原始 droid_101/0.0.1 RLDS 发布版本生成的掩码辅助数据集（sidecar），仅包含分割掩码，不重新分发 DROID 图像或动作数据。其 episode_index 遵循 RLDS 剧集顺序。
任务类型
- 图像分割（image-segmentation）
标签
- 机器人（robotics）
- RLDS
- DROID
- SAM3
提示词（Prompts）
exterior_image_1_left（外部左侧相机1）：机器人操作器exterior_image_2_left（外部左侧相机2）：机器人操作器wrist_image_left（腕部左侧相机）：末端执行器
掩码格式
掩码按步骤生成语义并集，编码为压缩的 COCO RLE 字典，包含 size 和 ASCII counts 字段。剧集按独立块处理，每块 800 帧（0 表示完整剧集）。
技术细节
- 源 TFDS 子分割：
201 - SAM 源修订版本：
46957e47805eaa273f4aa7bbbd25a88bca9108ce - 权重集：
gripper_universal - SAM 检查点修订版本：
daa63191845a41281374e725f4c9e51c7a824460 - 夹爪检测器仓库：
sazirarrwth99/sam3.1-gripper-universal - 夹爪检测器修订版本：
be4e08e989a673511b11b7214fb135639dc5132a
与 LeRobot 的剧集映射
映射文件
lerobot_to_rlds_episode_mapping.parquet 提供了 LeRobot 与 RLDS 之间的剧集对应关系。
映射规模与质量
- 共 95,658 行，对应每个 LeRobot
hf_episode_index - 所有剧集均成功映射，零未匹配或未解决的剧集
- 通过完整 float32
action.joint_position序列的精确相等性验证 - 95,466 个映射唯一；其余 192 行形成 96 个重复等价组（RLDS 源中含同一录制的不可区分副本）
关键字段
- LeRobot 侧字段：
hf_episode_index、hf_length、hf_data_path、hf_dataset_from_index、hf_dataset_to_index - RLDS 侧字段：
rlds_shard_index、rlds_record_index、rlds_shard_major_index、rlds_tfrecord_path、rlds_byte_offset、rlds_file_path、rlds_recording_folderpath、rlds_episode_id
重要提示
- 本数据集的
episode_index、rlds_shard_major_index均为位置计数器，非稳定标识符，不可直接用作索引 - 应始终通过
episode_id（本数据集列）与rlds_episode_id（映射文件列）进行连接，二者基于内容寻址且跨行序稳定
其他信息
- 文件 SHA-256：
7548f287fb4f2d62c642e4e89a8b7a5ac50d278d18b1d2ff0b042e4c7309eb5a - 由 DROID 分割标注流程生成
- 原始 DROID 数据集与 SAM 检查点仍受其各自许可证和条款约束
