PetalDex

PetalDex是一个用于“插花”任务的双手灵巧操作数据集，数据采集自wuji_bimanual机器人平台（包含两个7自由度机械臂和两个20自由度灵巧手）。数据集以30 FPS的帧率记录，每个帧提供两个RGB相机视图（头部和右手腕）、一个54维的本体感知状态和一个54维的动作。数据集包含两个子集：robot_auto（525个片段，956,892帧，机器人自主收集的“插花”任务片段）和robot_human_co-creation（200个片段，268,322帧，人机协作创建的片段）。数据以两种格式发布，内容相同：LeRobot v3.0格式（使用AV1视频编码的.mp4文件）和HDF5格式（每帧JPEG图像存储在.h5文件中）。该数据集适用于机器人学、灵巧操作、模仿学习等研究领域。PetalDex is a dataset for dexterous bimanual manipulation in the "flower arrangement" task, collected from the wuji_bimanual robot platform (featuring two 7-DOF robotic arms and two 20-DOF dexterous hands). The dataset is recorded at 30 FPS, with each frame providing two RGB camera views (head and right wrist), a 54-dimensional proprioceptive state, and a 54-dimensional action. It includes two subsets: robot_auto (525 episodes, 956,892 frames, autonomously collected by the robot for the "flower arrangement" task) and robot_human_co-creation (200 episodes, 268,322 frames, created through human-robot collaboration). The data is released in two formats with identical content: LeRobot v3.0 format (.mp4 files using AV1 video encoding) and HDF5 format (each frames JPEG images stored in .h5 files). This dataset is suitable for research in robotics, dexterous manipulation, imitation learning, and related fields.

原始信息汇总

数据集概述

PetalDex 是一个用于 “插花”（arrange flowers） 任务的双臂灵巧操作数据集，采集平台为 wuji_bimanual 机器人（两只 7 自由度机械臂 + 两只 20 自由度灵巧手）。每帧数据包含两个 RGB 摄像头视角（头部摄像头和右手腕摄像头）、54 维本体感受状态和 54 维动作，录制帧率为 30 fps。

数据格式

数据集以两种格式发布，内容相同，可根据使用场景选择：

格式	路径	图像存储	加载方式
LeRobot v3.0	lerobot/<subset>/	AV1 视频（.mp4）	lerobot / parquet
HDF5	hdf5/<subset>/	逐帧 JPEG（存于 .h5）	h5py + cv2

子数据集

子集	回合数	帧数	描述
robot_auto	525	956,892	机器人自动采集的“插花”回合（已合并）
robot_human_co-creation	200	268,322	人机协同采集的回合

数据模式

• observation.state — float32[54]，顺序为 左臂(7) + 右臂(7) + 左手(20) + 右手(20)
• action — float32[54]（与状态布局相同）
• observation.images.head — 224×224×3 RGB 图像
• observation.images.right_wrist — 224×224×3 RGB 图像
• fps — 30 · robot_type — wuji_bimanual · task — "arrange flowers"

仓库结构

PetalDex/ ├── lerobot/ │ ├── robot_auto/ # LeRobot v3.0 数据集（data/ + videos/ + meta/） │ └── robot_human_co-creation/ └── hdf5/ ├── robot_auto/ # episode_000000.h5 ... + dataset_meta.json └── robot_human_co-creation/

注意：此仓库包含 四个 子数据集，因此在根目录直接使用 LeRobotDataset("jasonGUself/PetalDex") 会失败，应加载具体的子集文件夹。

使用方式

LeRobot v3.0

下载某个子集后，将 LeRobotDataset 指向其本地根目录：

python from huggingface_hub import snapshot_download from lerobot.datasets.lerobot_dataset import LeRobotDataset

local = snapshot_download( repo_id="jasonGUself/PetalDex", repo_type="dataset", allow_patterns="lerobot/robot_auto/*", ) ds = LeRobotDataset("jasonGUself/PetalDex", root=f"{local}/lerobot/robot_auto") print(ds[0].keys())

HDF5

每个回合对应一个 .h5 文件，图像以逐帧 JPEG 字节（变长 uint8）存储，使用 OpenCV 解码（按 cv2 约定返回 BGR）：

python import h5py, cv2, numpy as np

with h5py.File("hdf5/robot_auto/episode_000000.h5", "r") as f: T = int(f.attrs["num_frames"]) # attrs: fps, task, robot_type, ... state = f["observations/state"][:] # (T, 54) float32 action = f["action"][:] # (T, 54) float32 head = cv2.imdecode(f["observations/images/head"][0], cv2.IMREAD_COLOR) # (224,224,3) wrist = cv2.imdecode(f["observations/images/right_wrist"][0], cv2.IMREAD_COLOR)

单个 HDF5 文件布局：

attrs: robot_type, fps, task, episode_index, num_frames, image_encoding="jpeg", image_shape=[224,224,3], state_dim=54, action_dim=54, state_layout /observations/images/head vlen uint8 (T,) # 每帧 JPEG 字节 /observations/images/right_wrist vlen uint8 (T,) /observations/state float32 (T, 54) /action float32 (T, 54) /timestamp float32 (T,) /frame_index int64 (T,)

补充说明

• HDF5 中的图像是从源 AV1 视频重新编码为 JPEG（质量 95），视觉上无损，但与 LeRobot 视频帧并非逐位一致。
• LeRobot 格式中两路摄像头流被打包为不同数量的视频文件；帧与回合的对应关系由 meta/episodes/*.parquet 处理。

搜集汇总

数据集介绍

构建方式

PetalDex数据集聚焦于双灵巧手协同完成“插花”这一精细操作任务，其数据采集依托名为wuji_bimanual的机器人平台，该平台配备两条七自由度机械臂与两只二十自由度的灵巧手。数据集包含两大子集：robot_auto子集由机器人自主完成525个插花片段，共计约95.7万帧；robot_human_co-creation子集则记录人机协同创作的200个片段，约26.8万帧。为兼容不同研究管线，原始数据以LeRobot v3.0和HDF5两种格式同步发布，前者将图像压缩为AV1视频，后者存储逐帧JPEG字节流，两者内容完全等价，便于用户根据自身工具链灵活选择。

特点

该数据集的核心特色在于其高维度的状态与动作空间，每一帧均包含54维状态信息（由双臂关节角度与双手指关节角度拼接而成）以及与之对应的54维动作指令，为模仿学习与机器人操控研究提供了丰富的原始信号。同步采集的头部与右腕两路RGB摄像头以30帧/秒的频率记录224×224像素的视觉信息，构成多视角观测基础。此外，机器人自主采集与人机协同采集两种不同风格的子集并列呈现，使得研究者能够对比分析单一自主策略与融合人类示教策略之间的性能差异，从而更全面地探索双灵巧手操作的泛化能力。

使用方法

使用PetalDex数据集时，用户可根据数据格式偏好选择不同的加载路径。若采用LeRobot格式，首先使用snapshot_download下载指定子集的视频与元数据，随后通过LeRobotDataset接口加载本地数据根目录，即可按索引访问状态、动作及图像样本。若偏好HDF5格式，则每个片段对应一个.h5文件，通过h5py库读取属性中的帧数与数据类型，利用cv2.imdecode将JPEG编码的解码为BGR图像，并与状态、动作数组对齐。HDF5文件额外提供时间戳与帧索引信息，便于时序建模或数据重采样。两种接口均屏蔽了底层编码细节，使得研究者能够快速专注于策略学习算法的迭代与验证。

背景与挑战

背景概述

PetalDex数据集由研究团队于近年来创建，专注于双灵巧手在插花任务中的操作研究。该数据集利用配备两个7自由度机械臂和两个20自由度灵巧手的wuji_bimanual机器人平台，通过525个机器人自主采集和200个人机协作采集的回合，构建了超过120万帧的高质量操作数据。每帧包含双视角RGB图像、54维本体状态和动作信息，以30帧每秒的采样率记录。PetalDex的发布填补了双灵巧手精细操作领域标准化数据集的空白，为模仿学习和机器人灵巧操作研究提供了重要基准，推动了机器人从简单抓取向复杂精细操作任务的发展。

当前挑战

PetalDex所解决的领域问题在于双灵巧手在非结构化环境中的精细操作，特别是插花这类需要协调双手与多指协作的任务，传统数据集多聚焦于单臂或简单抓取，难以支持此类复杂操作的研究。构建过程中面临的核心挑战包括：协调20自由度灵巧手与7自由度机械臂的高维运动规划与控制，确保双手无碰撞协同；在多阶段插花任务中保持数据的一致性与准确性，如从选花到插放的连续动作序列；以及在人机协作模式下，同步人类意图与机器人执行，实现自然的交互数据采集。

常用场景

经典使用场景

PetalDex数据集专为双手灵巧操作任务设计，其经典使用场景集中于模仿学习与行为克隆算法的训练与评估。研究者利用该数据集中包含的54维连续状态与动作空间，以及双视角RGB图像（头部与右腕），可构建高效的端到端策略模型。该数据集特别适用于美妆、花艺等精细操作场景的机器人技能学习，通过复用来自机器人自主采集与人类协作的多样化示范轨迹，推动灵巧操作领域的知识迁移与泛化能力提升。

实际应用

在实际应用中，PetalDex数据集可为商业花艺机器人、医疗服务中的精密操作助手及家庭服务机器人提供底层技能支持。例如，在自动花艺编排场景中，机器人可学习从抓取花茎到插入花泥的完整动作序列；在人机协作模式下，数据集还支持机器人的适应性与人机物理交互学习。基于该数据集训练的策略可直接迁移至具备双臂与灵巧手的服务机器人平台，减少人工示教成本并提升操作效率。

衍生相关工作

PetalDex衍生了多项代表性研究工作，涵盖多模态学习、数据增强与跨任务迁移等领域。例如，研究团队可能基于其LeRobot格式开发了Diffusion Policy与ACT（Action Chunking with Transformers）等高级算法的对比基准；其HDF5格式则被用于探索状态空间建模与逆强化学习。此外，该数据集还催生了关于双臂协调控制策略与视觉-运动学习联合训练的开源项目，进一步推动了灵巧操作从单一任务向通用技能库的演进。