franka-demos-compressed

该数据集为 Franka Emika 机器人遥操作演示数据集，包含通过 ROS 2 bag 记录的原始数据及同步转换为 HDF5 格式的版本。数据集采用 Apache-2.0 许可证，适用于机器人、模仿学习、遥操作和 RGB-D 视觉等领域。RGB 图像以原始 JPEG 字节存储，极大减小了数据体积（约为解码版本的 1/4）。深度、状态和时间戳与解码版本完全相同。数据目录结构包含 raw/（原始 ROS 2 bag，含 .db3.zstd 文件、metadata.yaml 和 task.txt）和 h5/（转换后的同步 HDF5 文件）。数据集包含两个任务：button_order（52 个 episode，提示：按视频中显示的相同顺序按下按钮）和 pick3（60 个 episode，提示：拾取 3 次）。H5 文件中每个同步样本对应一个组（frame_000000 至 frame_NNNNNN），内部包含：相机数据（cam_base 和 cam_hand）的彩色图像、对齐深度图像（uint16，720x1280）及相机信息；Franka 机器人状态（当前位姿、测量关节状态、期望关节状态、外部关节扭矩、外部 wrench、期望末端执行器 twist、最后期望位姿）；命令（目标位姿位置、目标位姿朝向、目标关节）；夹爪和遥操作数据（Franka 夹爪关节状态、SpaceNav 摇杆按钮）；时间戳（原始时间戳、相机时间戳、其他时间戳）以及同步质量信息（各主题相对于参考 RGB 流的偏移、陈旧主题列表、深度陈旧标志）。帧同步以 cam_base 彩色流为参考，全速率进行，非参考主题在 ±100 ms 内匹配，超出时尽力填充（最多 1 秒）并标记为陈旧，确保不因单一流丢失而丢弃良好 RGB 帧。每个 episode 的样本 0 被丢弃。转换脚本为 rosbag_to_h5_simple.py，并附有 Python 加载示例。This dataset is a Franka Emika robot teleoperation demonstration dataset, containing raw data recorded via ROS 2 bags and a synchronized version converted to HDF5 format. The dataset is licensed under Apache-2.0 and is suitable for robotics, imitation learning, teleoperation, and RGB-D vision. RGB images are stored as raw JPEG bytes, significantly reducing data volume (approximately 1/4 of the decoded version). Depth, state, and timestamps are identical to the decoded version. The data directory structure includes raw/ (original ROS 2 bags with .db3.zstd files, metadata.yaml, and task.txt) and h5/ (converted synchronized HDF5 files). The dataset contains two tasks: button_order (52 episodes, instruction: press buttons in the same order as shown in the video) and pick3 (60 episodes, instruction: pick up three times). In the HDF5 file, each synchronized sample corresponds to a group (frame_000000 to frame_NNNNNN), containing: camera data (cam_base and cam_hand) with color images, aligned depth images (uint16, 720x1280), and camera info; Franka robot state (current pose, measured joint state, desired joint state, external joint torque, external wrench, desired end-effector twist, last desired pose); commands (target pose position, target pose orientation, target joints); gripper and teleoperation data (Franka gripper joint state, SpaceNav joystick buttons); timestamps (original timestamp, camera timestamp, other timestamps); and synchronization quality information (offset of each topic relative to reference RGB stream, list of stale topics, depth stale flag). Frame synchronization uses the cam_base color stream as reference at full rate, matching non-reference topics within ±100 ms, and filling stale data (up to 1 second) when out of range, ensuring good RGB frames are not discarded due to a single stream loss. Sample 0 of each episode is discarded. The conversion script is rosbag_to_h5_simple.py, and a Python loading example is provided.

原始信息汇总

数据集概述：franka-demos-compressed

基本信息

• 许可证：Apache-2.0
• 任务类型：机器人学（Robotics）
• 标签：机器人学、Franka、模仿学习、远程操作、RGBD
• 数据地址：https://huggingface.co/datasets/fm-dev/franka-demos-compressed

数据内容

Franka Emika 机器人远程操作演示数据集，以 ROS 2 bag 格式记录，并提供同步转换后的 HDF5 格式版本。

数据特色

• RGB 压缩存储：RGB 图像以原始 JPEG 字节存储（编码属性为 jpeg），相较于未压缩变体（fm-dev/franka-demos）大约缩小 4 倍。
• 深度、状态和时间戳数据：与未压缩版本逐字节一致。

目录结构

raw/<task>/<operator>/<episode>/ # 原始 ROS 2 bags（.db3.zstd）+ metadata.yaml + task.txt h5/<task>/<episode>.h5 # 转换后的时间同步 HDF5 文件

任务统计

任务	采集次数	提示词
button_order	52	按照视频中所示的顺序按下按钮
pick3	60	拾取 3 次

HDF5 文件结构

每个同步样本对应一个组（frame_000000 至 frame_NNNNNN），每个组包含：

相机数据（cam_base、cam_hand）：

• 彩色图像
• aligned_depth_to_color（uint16 格式，720x1280）
• 对应的 camera_info

Franka 状态数据：

• current_pose（位置/方向）
• measured_joint_states、desired_joint_states
• external_joint_torques
• external_wrench_in_base_frame、external_wrench_in_stiffness_frame
• desired_end_effector_twist、last_desired_pose

指令数据：

• _target_pose_position、_target_pose_orientation、_target_joint

夹爪/远程操作数据：

• _franka_gripper_joint_states、_spacenav_joy_buttons

时间信息：

• original_timestamps、camera_timestamps、other_timestamps
• sync_quality 组（记录各主题相对参考 RGB 流的偏移量）
• stale_topics 列表和 depth_stale 标志

同步机制

• 帧同步于 cam_base 彩色流，全速率无抽稀。
• 非参考主题在 ±100 ms 内匹配，超出范围则尽力从最近消息（上限 1 秒）填补，并将该帧标记为失效。
• 每集样本 0 被丢弃。

处理工具

使用 rosbag_to_h5_simple.py 转换。

代码示例

python import cv2, h5py, numpy as np with h5py.File("h5/pick3/pick3_20260826_205000_123.h5", "r") as f: g = f["frame_000000"] rgb = cv2.imdecode(g["_cam_base_camera_color_image_raw_compressed"][:], cv2.IMREAD_COLOR) depth = g["_cam_base_camera_aligned_depth_to_color_image_raw_compressedDepth"][:]

搜集汇总

数据集介绍

构建方式

该数据集源自Franka Emika机械臂的遥操作演示，所有原始记录以ROS 2 bag格式存储，并同步转换为HDF5结构。每条轨迹经严格配对，将RGB图像以原始JPEG字节形式编码（encoding属性为jpeg），显著减小存储体积，而深度、机器人状态与时间戳则与解码版本保持逐字节一致。转换过程遵循rosbag_to_h5_simple.py脚本，以基座相机彩色流为基准帧实施全速率同步，丢弃每段首帧，非参考话题在±100毫秒窗口内匹配，超时则依据最近消息尽力填充并标记为陈旧，从而保证优质RGB帧不因单一数据流缺失而丢失。质量控制阶段剔除了本体感知全NaN、任务执行不完整及截断归档的片段，最终保留158个有效回合，分布于button_order、pick3与shuffle三个任务。

特点

数据集以多模态时序数据为显著特征，每帧同步封装双路相机（cam_base与cam_hand）的彩色图像、对齐深度（uint16，720×1280）及相机信息，同时涵盖Franka机械臂的完整状态量（如当前位姿、关节状态、外力矩、末端期望速度）与指令信号（目标位姿、目标关节、夹爪状态、空间鼠标按钮）。时间同步模块提供各话题相对参考RGB流的偏移量、陈旧话题列表及深度陈旧标志，确保时序一致性。RGB采用JPEG压缩，使整个分片体积约为解码变体的四分之一，便于高效存储与传输。注释部分则汇聚多版本机器生成的情节标注、语义事件标签与质量审核结果，每个版本保留独立的模型与提示词记录，不进行合并，历史被拒版本亦原样公开以支持可审计对比。

使用方法

使用该数据集时，可通过h5py库读取HDF5文件，访问frame_XXXXXX组获取对应时刻的传感器与状态数据。例如，利用cv2.imdecode解码_cam_base_camera_color_image_raw_compressed字段得到彩色图像，直接读取_cam_base_camera_aligned_depth_to_color_image_raw_compressedDepth获取深度图。原始ROS 2 bag文件存放于raw路径下，供需要原始消息结构的场景使用。注释信息位于annotations目录，按版本组织，每个版本包含生成者自身标记的complete、human_ground_truth和training_ready标志。使用任何标注进行监督前，应查阅annotations/qa/中的质量审核结论，注意这些标签非人工真实标注，且无任何捆绑包被认证为可直接训练。EXPORT_MANIFEST.json记录了各捆绑包的导出详情与有意省略内容，便于追踪数据谱系。

背景与挑战

背景概述

机器人模仿学习领域长期受制于高质量演示数据的稀缺，Franka Emika 作为广泛部署的力控协作机械臂，其遥操作数据的公开化对推动该方向具有基础性意义。franka-demos-compressed 由 fm-dev 团队整理发布，以 ROS 2 bag 与时间同步 HDF5 双格式收录了 158 条真实机器人演示，涵盖按钮顺序按压、三次抓取与杯子方块交换三类桌面任务，每帧提供双目 RGB-D、关节状态、外力矩与遥操作指令，并将 RGB 以 JPEG 原始字节压缩存储，使数据集体积较解码版本缩减约四倍，为视觉-动作策略的离线训练提供了兼具保真度与可及性的资源。

当前挑战

该数据集所应对的领域问题在于，如何在真实接触动力学下让策略从少量多模态演示中习得时序依赖的长程操作技能，而遥操作带来的动作分布偏移、抓取接触中的暂停与回退，均对模仿学习的稳定性构成考验。构建层面的困难同样突出：多传感器流需在 ±100 ms 窗口内对齐至 cam_base 彩色参考帧，非参考话题只能以最近消息尽力填充并标记 stale；部分录制因本体感觉全为 NaN、任务执行不完整或归档截断而被质量筛查剔除。此外，所有注释均为机器生成且含被评审否决的版本，尚无人标注真值，使用前须查阅 QA 判定以规避监督信号风险。

常用场景

经典使用场景

在机器人模仿学习与遥操作研究领域，franka-demos-compressed数据集构成了从人类示教到策略学习的核心数据基石。该数据集囊括了Franka Emika机械臂执行按钮顺序按压、三次抓取及杯子与方块 shuffle 等三类任务的158条示教轨迹，每条轨迹均以同步化的HDF5格式封装了RGB彩色图像、对齐深度图、关节状态、末端执行器位姿、外力矩与夹爪指令。研究者经典地将其用于行为克隆与视觉-运动策略的端到端训练，凭借RGB以JPEG原始字节存储带来的约四倍压缩效率，在保留深度与状态信息逐字节精度的同时，显著缓解了大规模示教数据在存储与传输层面的压力，为高频率、多模态的机器人操作学习提供了可复现的数据入口。

衍生相关工作

围绕franka-demos-compressed，已衍生出多层次的标注与分析工作生态。其annotations目录下汇集了Writer关键帧与子目标侧车、离线语义事件与阶段标签以及相应质量审查记录，形成了诸如events-astra系列、phases-agent-reviewed及writer-astra等版本化产物。这些标注版本各自保留独立的模型、提示版本与审查结论，从不合并，被取代的运行亦原样留存，从而催生了关于机器生成标注可审计性与监督信号可靠性的比较研究。相关经典工作亦涵盖从解码变体franka-demos到压缩表示的转换方法，以及基于rosbag_to_h5_simple.py的同步转换流程，为后续机器人示教数据集的版本管理与标注质量评估提供了可参照的范式。

数据集最近研究

最新研究方向

在机器人模仿学习领域，franka-demos-compressed数据集通过压缩RGB图像为JPEG字节，显著降低了存储需求，同时保留了深度、状态和时间戳的完整性，为大规模视觉运动策略训练提供了高效的数据基础。当前前沿研究聚焦于利用该数据集中的多模态同步数据（如RGB-D、关节状态、外部力矩）探索基于扩散策略或Transformer架构的端到端操作技能学习，尤其关注从遥操作演示中提取时空一致的动作表示。关联热点包括数据高效模仿学习与多任务泛化，如button_order、pick3和shuffle任务中子目标与相位标注的自动生成与质量评估。该数据集通过提供机器生成的注释版本及QA审核，推动了标注可靠性研究，其影响在于促进了可复现的机器人学习基准构建，并强调了非人类真值标签在监督学习中的谨慎使用。