donuts-shop-dataset-v0

该数据集是使用LeRobot创建的，包含机器人相关的数据。数据集结构包括动作、观察（状态和前后摄像头图像）、时间戳、帧索引、片段索引和任务索引等特征。数据集包含110个片段，144641帧，3个任务，数据以parquet文件格式存储，视频以mp4格式存储。数据集的许可证为Apache-2.0。

原始信息汇总

数据集概述

基本信息

• 数据集名称: donuts-shop-dataset-v0
• 创建工具: LeRobot (https://github.com/huggingface/lerobot)
• 许可证: Apache-2.0
• 任务类别: 机器人学
• 标签: LeRobot

数据集规模与结构

• 总情节数: 110
• 总帧数: 144,641
• 总任务数: 3
• 数据块大小: 1000帧
• 数据文件总大小: 100 MB
• 视频文件总大小: 200 MB
• 帧率: 30 FPS
• 数据分割: 全部数据（0:110）用于训练
• 代码库版本: v3.0
• 机器人类型: bi_so101_follower

数据文件路径

• 数据文件路径模式: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件路径模式: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

数据特征

动作特征

• 特征名称: action
• 数据类型: float32
• 形状: [12]
• 描述: 包含左右机械臂各关节的位置控制指令，具体为：
  • left_shoulder_pan.pos
  • left_shoulder_lift.pos
  • left_elbow_flex.pos
  • left_wrist_flex.pos
  • left_wrist_roll.pos
  • left_gripper.pos
  • right_shoulder_pan.pos
  • right_shoulder_lift.pos
  • right_elbow_flex.pos
  • right_wrist_flex.pos
  • right_wrist_roll.pos
  • right_gripper.pos

观测特征

状态观测

• 特征名称: observation.state
• 数据类型: float32
• 形状: [12]
• 描述: 包含左右机械臂各关节的当前位置状态，具体关节名称与动作特征相同。

图像观测

前视图像

• 特征名称: observation.images.front
• 数据类型: video
• 形状: [480, 640, 3]
• 视频信息:
  • 高度: 480像素
  • 宽度: 640像素
  • 编解码器: av1
  • 像素格式: yuv420p
  • 非深度图
  • 帧率: 30 FPS
  • 通道数: 3
  • 无音频

后视图像

• 特征名称: observation.images.back
• 数据类型: video
• 形状: [480, 640, 3]
• 视频信息: 与前视图像规格完全相同

元数据特征

• timestamp: 时间戳，float32类型，形状[1]
• frame_index: 帧索引，int64类型，形状[1]
• episode_index: 情节索引，int64类型，形状[1]
• index: 索引，int64类型，形状[1]
• task_index: 任务索引，int64类型，形状[1]

引用信息

• 主页: [More Information Needed]
• 论文: [More Information Needed]
• BibTeX引用: [More Information Needed]

搜集汇总

数据集介绍

构建方式

在机器人学习领域，高质量的数据集是推动算法发展的基石。donuts-shop-dataset-v0依托LeRobot平台构建，通过双机械臂系统（bi_so101_follower）在模拟或真实环境中执行三项具体任务，采集了110个完整片段，共计144,641帧数据。数据以分块形式存储，每块包含1000帧，并以Parquet格式高效组织，确保了数据的结构化和可扩展性。视频数据以30帧每秒的速率录制，采用AV1编码，兼顾了视觉信息的丰富性与存储效率。

特点

该数据集在机器人操作任务中展现出多维度的特征。其核心在于同步记录了双机械臂的12维关节位置信息，既作为动作空间也作为状态观测，为模仿学习与强化学习提供了精准的控制器输入。视觉观测方面，数据集提供了前、后两个视角的RGB视频流，分辨率均为640x480，形成了丰富的环境感知模态。数据组织上，每一帧都关联了时间戳、帧索引、片段索引及任务索引，这种精密的元数据设计支持对长序列任务进行细粒度的时序分析与轨迹切片。

使用方法

对于研究者而言，该数据集可直接用于训练端到端的机器人策略模型。用户可通过LeRobot库或兼容框架加载Parquet数据文件，利用其清晰划分的动作、状态及图像特征。模型可以同时处理关节位置指令与双视角图像输入，学习完成指定的三项任务。数据集的统一分割（全部110个片段用于训练）要求用户在评估时需自行划分验证集。其分块存储结构便于流式读取，适合处理大规模序列数据，为机器人视觉运动控制研究提供了即用型的高质量资源。

背景与挑战

背景概述

donuts-shop-dataset-v0数据集是机器人学领域一项新兴的数据资源，由LeRobot平台构建并发布于HuggingFace。该数据集聚焦于双臂仿人机器人的操作任务，旨在为机器人技能学习提供多模态的演示数据。其核心研究问题在于如何通过真实世界的交互数据，推动机器人从感知到动作的端到端学习，特别是在复杂、非结构化的环境中执行精细操作任务。尽管具体创建时间与主要研究人员信息尚未公开，但该数据集依托开源机器人社区的力量，通过记录机器人关节状态、视觉观察与时间序列信息，为模仿学习与强化学习算法提供了宝贵的训练与评估基准，有望加速家庭服务或轻工业场景中机器人自主能力的提升。

当前挑战

该数据集致力于解决机器人操作任务中的多模态感知与决策挑战，其核心问题在于如何让机器人从高维视觉与本体感知数据中学习稳健且泛化性强的操作策略。具体挑战包括：在领域层面，机器人需处理动态环境中的物体交互、应对传感器噪声以及实现跨任务的技能迁移；在构建过程中，数据采集面临真实世界操作的复杂性，如确保双臂协调动作的同步性、维持长时间演示的数据一致性，以及高效压缩与存储大规模视频流数据的技术难题。这些挑战共同指向了构建高质量、大规模机器人操作数据集的固有困难。

常用场景

经典使用场景

在机器人学习领域，donuts-shop-dataset-v0数据集为双臂机器人操作任务提供了丰富的多模态演示数据。该数据集通过记录机器人执行特定任务时的关节位置、图像观测及时间序列信息，成为训练模仿学习与强化学习模型的经典资源。研究人员能够利用这些结构化数据，构建从视觉感知到动作执行的端到端策略，从而模拟复杂环境下的双臂协调操作。

实际应用

在实际场景中，donuts-shop-dataset-v0可直接应用于服务机器人或工业自动化领域。例如，基于该数据训练的模型能够指导双臂机器人完成物品抓取、摆放或装配等精细操作，提升生产线效率或辅助日常服务。其多模态特性确保了模型在动态环境中的鲁棒性，为机器人部署提供了可靠的技术支撑。

衍生相关工作

围绕该数据集，学术界已衍生出多项经典研究工作。这些工作主要集中在多模态融合策略学习、跨任务泛化方法以及高效数据利用算法等方面。部分研究通过提取数据中的时空特征，开发了新型的机器人控制架构；另一些则利用其进行仿真到实物的迁移实验，推动了机器人学习范式的创新与优化。