reassemble

REASSEMBLE (LeRobot v3) 是一个多模态机器人数据集，专注于接触丰富的装配和拆卸任务，基于NIST装配任务板，使用Franka机械臂记录。该数据集是原始REASSEMBLE数据集的重新格式化衍生版本，将149个原始记录转换为149个LeRobot episodes（每个记录对应一个长视距episode），所有传感器数据以30fps统一重采样。数据包括RGB摄像头图像（手部摄像头和两个Hama摄像头）、事件相机渲染、机器人状态（关节位置、速度、末端执行器姿态等）、力和扭矩测量，以及每帧的高级动作段标签（例如“插入USB”或“拾取方形销3”）。数据集还包含音频和原始事件流作为侧边数据，但LeRobot数据加载器不直接返回这些数据。数据集分割为111个训练episodes和37个测试episodes，遵循原始作者的分割。数据集用于机器人学习和操作研究，支持多模态传感器融合和接触丰富的任务分析。REASSEMBLE (LeRobot v3) is a multimodal robot dataset focused on contact-rich assembly and disassembly tasks, based on the NIST assembly task board and recorded using a Franka robot arm. It is a reformatted derivative of the original REASSEMBLE dataset, converting 149 original recordings into 149 LeRobot episodes (each recording corresponds to a long-horizon episode), with all sensor data uniformly resampled at 30fps. The data includes RGB camera images (hand camera and two Hama cameras), event camera renderings, robot state (joint positions, velocities, end-effector pose, etc.), force and torque measurements, and per-frame high-level action segment labels (e.g., insert USB or pick square peg 3). The dataset also includes audio and raw event streams as side data, but the LeRobot data loader does not directly return these. The dataset is split into 111 training episodes and 37 test episodes, following the original authors split. It is used for robot learning and manipulation research, supporting multimodal sensor fusion and contact-rich task analysis.

原始信息汇总

数据集概览：REASSEMBLE (LeRobot v3)

任务类型：接触式机器人装配与拆卸（contact-rich robotic assembly and disassembly）

许可协议：CC-BY-4.0

数据规模：1,433,406 帧，共149个episode，均匀帧率30 fps

机器人平台：Franka 机械臂

传感器模态：多模态数据，包括：

• 三路RGB相机（hand, hama1, hama2）：分辨率480×640
• 事件相机（event_cam）：DAVIS渲染图，分辨率260×346
• 关节状态（joint_position, gripper_position）：7维关节位置 + 2维夹爪位置
• 末端执行器位姿（ee_pose）：7维（x, y, z + 四元数）
• 力/力矩传感器（force, torque）：各3维，含基座补偿版本
• 动作指令（action）：9维（下一时刻绝对末端目标位姿7维 + 夹爪2维）
• 任务标签（task）：当前高层次动作段的语言描述（如“Insert USB.”）
• 片段成功标志（segment.success）：布尔值
• 片段索引（segment.index）：int64

数据集划分：

• 训练集：111个episode
• 测试集：37个episode
• 未分配：1个episode

数据特点与注意事项：

• 原始数据来自TU Wien，本版本为重新格式化的LeRobot v3端口，所有传感器统一重采样至30 fps。
• 高频力/力矩（约1.7 kHz测量，0.5 kHz基座）在帧流中被降采样。
• 音频未作为帧特征保留，而是以旁路文件（sidecar）形式保存：每episode的audio/episode_XXXXXX/{hand, hama1, hama2}.wav（16 kHz PCM）。
• 原始稀疏事件流也未作为帧特征保留，以旁路文件events/episode_XXXXXX.npz存储（events: N×3 int64；timestamps: N float64）。事件相机的渲染图可通过event_cam视频访问。
• 少数录制缺少某一路相机（如2025-01-10-16-17-40缺少hand相机），缺失帧以黑色填充以保持模式一致。

引用与归属：

• 原始数据集DOI：10.48436/0ewrv-8cb44
• 论文：arXiv:2502.05086
• 项目主页：https://tuwien-asl.github.io/REASSEMBLE_page/
• 端口脚本与转换流程：https://github.com/lvjonok/reassemble-lerobot-port