furniture_bench_dataset_lerobot

该数据集由LeRobot创建，采用Apache-2.0许可证，属于机器人学领域。数据集包含5100个episodes，3948057帧，9个任务，10200个视频，分为6个chunks，每个chunk包含1000个episodes。数据以parquet格式存储，视频数据以AV1编码，分辨率为224x224，帧率为10fps。数据集包含多种特征，如观察图像（image和wrist_image）、状态观察（8维浮点数）、动作（7维浮点数）以及时间戳、帧索引、episode索引等。适用于机器人控制、行为模仿等任务。

原始信息汇总

数据集概述

基本信息

• 数据集名称: furniture_bench_dataset_lerobot
• 创建工具: LeRobot (https://github.com/huggingface/lerobot)
• 许可证: Apache-2.0
• 任务类别: 机器人学

数据集规模与结构

• 总情节数: 5100
• 总帧数: 3948057
• 任务总数: 9
• 数据块大小: 1000
• 帧率: 10 FPS
• 数据分割: 全部数据（索引0至5100）用于训练
• 数据文件总大小: 100 MB
• 视频文件总大小: 200 MB

数据格式与特征

数据以Parquet文件格式存储，路径模式为：data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet 视频以MP4文件格式存储，路径模式为：videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

主要特征字段

1. observation.images.image

   • 类型: 视频
   • 形状: [224, 224, 3] (高度，宽度，RGB)
   • 视频信息: 帧率10.0，编码器av1，像素格式yuv420p，非深度图，无音频

2. observation.images.wrist_image

   • 类型: 视频
   • 形状: [224, 224, 3] (高度，宽度，RGB)
   • 视频信息: 帧率10.0，编码器av1，像素格式yuv420p，非深度图，无音频

3. observation.state

   • 数据类型: float32
   • 形状: [8]
   • 维度名称: ["x", "y", "z", "rx", "ry", "rz", "rw", "gripper"]
   • 帧率: 10

4. action

   • 数据类型: float32
   • 形状: [7]
   • 维度名称: ["x", "y", "z", "roll", "pitch", "yaw", "gripper"]
   • 帧率: 10

5. 元数据字段

   • timestamp: 数据类型float32，形状[1]，帧率10
   • frame_index: 数据类型int64，形状[1]，帧率10
   • episode_index: 数据类型int64，形状[1]，帧率10
   • index: 数据类型int64，形状[1]，帧率10
   • task_index: 数据类型int64，形状[1]，帧率10

技术细节

• 机器人类型: franka
• 代码库版本: v3.0
• 引用信息: 待补充
• 主页信息: 待补充
• 论文信息: 待补充

搜集汇总

数据集介绍

构建方式

在机器人操作学习领域，高质量的数据集是推动算法进步的关键基石。furniture_bench_dataset_lerobot 数据集依托 LeRobot 平台构建，系统采集了 Franka 机械臂执行家具组装任务的多模态交互数据。该数据集共包含 5100 条完整操作序列，总计超过 394 万帧数据，以 10 Hz 的频率同步记录机械臂的观测状态与动作指令。数据以分块形式组织，每块包含 1000 个片段，并存储为高效的 Parquet 格式，确保了大规模数据的管理与访问效率。

特点

该数据集的核心特点在于其丰富的多模态表征与精细的结构化标注。观测部分不仅提供了分辨率为 224x224 的固定视角与腕部视角的 RGB 视频流，还包含了 8 维的机械臂关节状态向量。动作空间则定义为 7 维的连续控制指令，覆盖了末端执行器的位姿与夹爪开合。所有数据均附带精确的时间戳、帧索引、任务索引与回合索引，形成了严格对齐的时序序列。这种设计为模仿学习、强化学习等算法提供了高保真且信息完备的训练环境。

使用方法

为便于研究者使用，数据集已预先划分为训练集，可直接用于模型训练。用户可通过标准的 Hugging Face 数据集库加载，利用提供的路径模板访问分块存储的 Parquet 数据文件与对应的 MP4 视频文件。数据集中每个特征均已明确定义其数据类型、形状与物理含义，例如观测图像以视频格式压缩存储，而状态与动作则为浮点数组。这种组织方式支持灵活的数据切片与流式读取，能够高效地服务于不同批尺寸与训练流程的机器人学习实验。

背景与挑战

背景概述

在机器人操作学习领域，构建高质量、大规模的真实世界数据集是推动算法进步的关键基石。furniture_bench_dataset_lerobot数据集应运而生，它由LeRobot团队创建，专注于家具装配这一复杂且具有实际应用价值的机器人操作任务。该数据集利用Franka机器人平台，采集了涵盖9种不同任务、超过5100条轨迹的交互数据，总计近四百万帧图像与状态动作对，旨在为模仿学习、强化学习等算法提供丰富的训练与评估资源。其核心研究问题在于如何让机器人通过视觉与状态观测，学习并泛化复杂的多步骤操作技能，从而推动家庭服务机器人自主执行精细装配作业的能力发展。

当前挑战

该数据集致力于解决机器人操作领域中家具装配任务的挑战，这一任务要求算法具备对物体几何、物理交互以及多步骤序列规划的综合理解能力。具体而言，挑战体现在模型需要从高维视觉输入中提取有效特征，并生成精确的连续动作以完成如拧螺丝、部件对接等精细操作，同时还需应对不同家具实例间的外观与动力学变化。在数据集构建层面，挑战主要源于真实机器人数据采集的复杂性与成本。确保数据在长时间、多任务采集过程中的一致性与安全性，以及高效处理与存储海量的视频流与同步状态数据，均是构建过程中需要克服的技术难题。

常用场景

经典使用场景

在机器人操作领域，furniture_bench_dataset_lerobot数据集为模仿学习与强化学习算法提供了丰富的训练资源。该数据集通过Franka机器人执行九种家具组装任务，采集了超过五千个轨迹的高质量视觉与状态数据，涵盖图像、关节状态及动作序列。研究者可基于此数据集训练端到端的策略模型，使机器人从演示中学习复杂的操作技能，如抓取、放置与装配，从而推动机器人自主执行精细操作任务的发展。

解决学术问题

该数据集有效解决了机器人模仿学习中数据稀缺与多样性不足的学术难题。通过提供大规模、多任务的真实世界演示数据，它支持算法在泛化性与鲁棒性方面的评估，促进了从视觉感知到动作生成的跨模态学习研究。其结构化特征与时间对齐的标注有助于探索序列决策、状态估计及任务迁移等核心问题，为机器人学习领域的理论突破提供了实证基础。

衍生相关工作

围绕该数据集，已衍生出多项经典研究工作，主要集中在机器人策略学习与视觉运动控制领域。例如，基于其多模态数据开发的端到端模仿学习框架，实现了从原始图像到连续动作的映射；此外，结合强化学习的混合方法利用该数据集进行预训练，显著提升了样本效率与任务泛化能力。这些工作进一步拓展了数据驱动机器人技术在复杂操作任务中的应用边界。