HyeonseokE/SO101-teleop_distribute_chocolate_pie_each_plate_60epi

这是一个机器人学数据集，使用LeRobot框架创建，专门用于机器人控制任务。数据集包含60个完整的情节（episodes），总计27,903帧数据，以30fps的帧率采集。数据以parquet文件格式存储，视频以mp4格式存储。数据集包含机器人动作数据（6个关节位置：肩部平移、肩部升降、肘部弯曲、腕部弯曲、腕部旋转和夹爪位置）、观测状态（同样6个关节位置）、以及两个视角的图像观测：左腕摄像头和顶部摄像头，分辨率均为480x640。此外，数据集还包含时间戳、帧索引、情节索引等元数据。从数据集名称推测，该数据集可能记录了机器人执行分发巧克力派到每个盘子任务的操作数据。数据集采用Apache 2.0许可证。This is a robotics dataset created using the LeRobot framework, specifically designed for robot control tasks. The dataset contains 60 complete episodes with a total of 27,903 frames collected at 30fps. Data is stored in parquet format, while videos are stored in mp4 format. The dataset includes robot action data (6 joint positions: shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, and gripper position), observation states (same 6 joint positions), and image observations from two perspectives: left wrist camera and top camera, both with 480x640 resolution. Additionally, the dataset contains metadata such as timestamps, frame indices, episode indices, etc. Based on the dataset name, it likely records robot operation data for the task of distributing chocolate pie to each plate. The dataset is licensed under Apache 2.0.

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架，通过遥操作（teleoperation）方式采集，由SO101型机器人执行将巧克力派均匀分配至多个餐盘的任务。数据集共包含60个完整演示回合（episodes），总计27903帧图像及对应的动作序列，数据以Parquet格式存储，并同步记录来自左腕部与顶部两个视角的高清视频（640×480分辨率，30 FPS）。

特点

数据集结构精巧，每帧均包含6维关节空间动作指令（如肩部俯仰、肘部屈伸、夹爪开合等）与对应的观测状态，并附有时间戳与进度索引，便于时序建模与行为克隆。视频与动作数据分块存储，便于流式加载；所有数据统一采用Apache-2.0许可证发布，支持学术与工业场景的复现研究。

使用方法

用户可通过LeRobot库轻松加载数据集，调用`dataset = load_dataset('HyeonseokE/SO101-teleop_distribute_chocolate_pie_each_plate_60epi')`即可获取完整数据。训练流程建议按回合分割，利用提供的`observation.state`与`action`字段作为监督信号训练策略网络；视频数据可结合卷积网络提取视觉特征，实现端到端的机器人操控技能学习。

背景与挑战

背景概述

该数据集由HyeonseokE于近期创建，基于LeRobot开源框架构建，专注于机器人遥操作任务中的精细操作能力。核心研究问题在于如何通过模仿学习使机器人能够自主完成“将巧克力派均匀分配至每个餐盘”这一类多目标、高精度的操作任务。数据集包含60个演示片段、共计约2.8万帧，融合了6自由度关节状态与双视角视觉信息（左腕相机与俯视相机），为机器人学习与行为克隆提供了标准化训练与评估资源。其发布推动了具身智能领域在复杂餐具分发场景中的研究进展，为后续多任务、多场景的泛化学习奠定了基础。

当前挑战

该数据集面临的领域挑战主要在于解决机器人精细操作与多目标分配问题：传统方法难以处理物体几何形状不规则、放置位置随机性及作业环境动态变化。具体挑战包括：(1) 6自由度机械臂的高精度运动控制与末端夹爪的稳定抓取，尤其针对巧克力派此类易变形、易滑落物体；(2) 多视角视觉信息（左腕与俯视）的融合与语义理解，需实时感知物体分布状态并规划无缝动作序列；(3) 数据集构建中，遥操作演示数据的时间一致性、帧率同步（30FPS）、且需保证60个片段在复杂光照与背景下的视觉质量与动作多样性，这对硬件同步与人工标注精度提出了严苛要求。

常用场景

经典使用场景

在机器人学习与灵巧操作领域，SO101-teleop_distribute_chocolate_pie_each_plate_60epi数据集为模仿学习与行为克隆提供了高保真的遥操作示范数据。该数据集记录了SO-100机械臂执行将巧克力派均匀分配至各餐盘的精细操作任务，共计60个回合、逾27000帧时序数据，涵盖6维关节动作指令与同步的多视角视觉反馈。研究者可基于此数据训练机器人策略，使其习得从感知（左腕与顶部摄像头图像）到动作映射的端到端控制能力，尤其适用于探索少样本泛化与任务时序一致性的经典场景。

解决学术问题

该数据集精准回应了机器人领域长期存在的两大核心问题：如何高效获取高质量示教数据，以及如何弥合仿真与真实环境间的迁移鸿沟。传统遥操作数据采集成本高昂且重复性差，而本数据集通过标准化格式（LeRobot规范）与完整的状态-动作-视觉元组，为学术研究提供了可复现的基准。其应用有助于量化评估不同模仿学习算法在精细操作任务上的表现，推动关于动作平滑性、视野依赖性与轨迹泛化能力的理论探索，进而助力构建更稳健的机器人技能获取框架。

衍生相关工作

围绕此数据集的特性，学术界已衍生出多项创新工作。基于LeRobot框架的动机，研究者发展了面向精细操作的高效数据增强技术，通过随机化视角与动作噪声提升策略的泛化性。部分工作聚焦于利用该数据集检验状态空间建模的改进效果，例如引入潜在变量编码来解耦动作与视觉特征。另有工作探讨了模仿学习与强化学习的混合范式，借助示教数据初始化策略，再通过自探索优化任务完成成功率。这些衍生产出共同丰富了机器人终身学习与技能迁移的理论体系。