phantom-episodes

PHANTOM 触觉操作数据集（PHANTOM episodes）是为训练 PHANTOM 触觉世界-动作模型而收集的遥操作触觉操作片段。数据采集平台包括 UR3 机械臂、Robotiq 2F-85 平行夹爪、两个 Daimon DM-Tac W2L 指尖触觉传感器、一个 RealSense 场景相机，并由 Echo 外骨骼主手进行遥操作。数据集包含两个任务：Carton（纸盒操作）和 waffles（华夫饼操作），每个任务均有 180 个成功演示片段和 20 个刻意记录的失败演示片段（失败片段提供对比信号，具有更高的力和接触面积）。每个片段以独立目录存储，包含多个数据流：场景相机彩色图像（约 15 Hz）、左右触觉传感器数据（6 维力/力矩、接触面积、场图、关键帧、推理图像，约 6.5 Hz）、机械臂关节位置/速度/末端位姿/速度/力扭矩（约 125-140 Hz）、夹爪位置/物体检测（约 100 Hz）、增量动作和绝对动作（约 10 Hz）。所有流共享主时钟时间戳。数据集还提供了清单文件（JSONL 格式）和完整质量审计表，记录每个片段的成功状态、训练/验证划分、触觉接触标记、时长、峰值力、接触面积、来源会话、质量注释等。训练/验证划分按时间顺序：每个成功任务的最后两个会话作为验证集，其余为训练集；失败演示仅用于训练。部分片段中峰值力可能短暂超过 30 N 的传感器量程上限（主要在失败演示中），已在质量注释中标记。该数据集适用于触觉感知、灵巧操作、世界模型学习等机器人学习任务。The PHANTOM Tactile Manipulation Dataset (PHANTOM episodes) is a collection of teleoperated tactile manipulation episodes collected for training PHANTOM tactile world-action models. The data collection platform includes a UR3 robot arm, Robotiq 2F-85 parallel gripper, two Daimon DM-Tac W2L fingertip tactile sensors, a RealSense scene camera, and teleoperated by an Echo exoskeleton master hand. The dataset contains two tasks: Carton and waffles, each with 180 successful demonstration episodes and 20 deliberately recorded failure episodes (failure episodes provide contrastive signals with higher forces and contact areas). Each episode is stored in an independent directory containing multiple data streams: scene camera color images (~15 Hz), left/right tactile sensor data (6-axis force/torque, contact area, field map, keyframes, inference images, ~6.5 Hz), robot arm joint positions/velocities/end-effector poses/velocities/force-torque (~125-140 Hz), gripper positions/object detection (~100 Hz), incremental actions and absolute actions (~10 Hz). All streams share a master clock timestamp. The dataset also provides a manifest file (JSONL format) and a complete quality audit table recording each episodes success status, training/validation split, tactile contact markers, duration, peak force, contact area, source session, quality annotations, etc. Training/validation split is chronological: the last two sessions of each successful task are used as validation set, the rest as training set; failure episodes are only used for training. In some episodes, peak force may briefly exceed the 30 N sensor range limit (mainly in failure episodes), which is marked in quality annotations. This dataset is suitable for robotic learning tasks such as tactile perception, dexterous manipulation, and world model learning.

原始信息汇总

PHANTOM 触觉操作数据集概述

数据集简介

PHANTOM episodes 是一个面向触觉操作（Tactile Manipulation）任务的数据集，专为 PHANTOM 触觉世界行动模型（tactile world-action-model）设计。数据采集平台包括 UR3 机械臂、Robotiq 2F-85 二指夹爪、两只 Daimon DM-Tac W2L 指尖触觉传感器、RealSense 场景相机，并通过 Echo 外骨骼主手进行遥操作。

数据集结构

• 任务目录（tasks/<task>/ep_<task>_<epoch>_<idx>/）：每个任务下按episode分组存储，是规范的扁平化视图，建议与 manifests/ 配合使用。
• 清单文件（manifests/<task>.jsonl、manifests/all.jsonl）：每个episode一行JSON，包含成功标志、划分（train/val）、触觉接触、时长、峰值力、接触面积、来源会话、质量备注及hub路径。
• 质量审计表（manifests/quality_full.csv）：提供每个episode完整的质量审计信息。
• 原始数据（archive/、collect/）：包含清洗前的原始会话布局，用于溯源，属于超集数据。

Episode数据格式

每个episode目录包含多个 zarr 数据流（含 data 和 ts 数组，时间戳基于主时钟秒）及 meta.json 元数据文件。主要数据流包括：

• 场景相机（camera_scene_color）：JPEG 格式，约15 Hz。
• 触觉传感器（tactile_left / tactile_right）：约6.5 Hz，包含6维力/力矩（N / 1e-2 Nm）、接触面积（mm²）、降采样触觉场（72x96x8 f16）、关键帧（144x192x8 f16）、推理图像（288x384 u8）。
• 机械臂状态（arm_*）：约125-140 Hz，包含关节位置、速度、TCP位姿、速度及力/力矩。
• 夹爪状态（gripper）：约100 Hz，包含位置及目标检测信息。
• 动作数据（actions、actions_abs）：actions 为增量末端执行器动作（约10 Hz），actions_abs 为绝对关节目标及夹爪指令。

任务与统计信息

任务	Episode数	角色	中位时长	中位峰值力	中位接触面积
Carton	180	成功演示	17.4 秒	12.9 N	17.9 mm²
waffles	180	成功演示	18.3 秒	8.4 N	3.0 mm²
egg	155	成功演示	27.6 秒	8.8 N	18.0 mm²
Carton_fail	20	失败演示	17.7 秒	26.3 N	36.1 mm²
waffles_fail	20	失败演示	20.4 秒	17.8 N	25.5 mm²
egg_fail	20	失败演示	18.4 秒	33.5 N	49.1 mm²

重要说明

• 成功与失败标注：成功任务中所有episode均标记 success=true；带 *_fail 后缀的任务为刻意录制的失败演示（力/接触更高，用作对比信号）。
• 触觉接触标记：tactile_contact=false 表示抓取发生在传感器垫之外，仅包含视觉/本体感觉数据，无触觉信号。
• 划分规则：每个成功任务按时间顺序取最后2个会话为验证集，其余为训练集；失败演示仅用于训练。可依据清单文件（manifests）自由重新划分，清单是划分的权威依据。
• 数据质量：少数episode中峰值力短暂超过30 N的触觉垫上限（多为失败演示的动态尖峰），已在质量备注中标注。