HyeonseokE/SO101-teleop_distribute_chocolate_pie_each_plate_80epi

该数据集由LeRobot创建，专注于机器人学领域，具体任务为分发巧克力派每个盘子。包含80个训练episodes，总计37310帧数据。数据集结构包括：动作数据（6维关节位置：肩部平移、肩部提升、肘部弯曲、腕部弯曲、腕部旋转、夹爪位置）；观测状态（与动作相同的6维关节位置）；图像观测（左腕摄像头和顶部摄像头的视频，分辨率480x640，RGB格式，30fps）；以及时间戳、帧索引、episode索引等元数据。数据以parquet文件格式存储，视频为mp4格式，适用于机器人控制与模仿学习任务。This dataset was created using LeRobot, focusing on robotics, specifically for the task of distributing chocolate pie each plate. It contains 80 training episodes with a total of 37,310 frames. The dataset structure includes: action data (6-dimensional joint positions: shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, gripper position); observation state (same 6-dimensional joint positions as action); image observations (video from left wrist and top cameras, resolution 480x640, RGB format, 30fps); and metadata such as timestamp, frame index, episode index. Data is stored in parquet format, with videos in mp4 format, suitable for robot control and imitation learning tasks.

搜集汇总

数据集介绍

构建方式

该数据集依托于LeRobot框架构建，针对SO101机器人平台进行遥操作采集。任务设定为将巧克力派均匀分配至多个餐盘，共计执行80个演示回合。数据以Parquet格式存储，并辅以H.264编码的同步视频流，实现了高保真的行为记录。每个回合包含从机器人关节角度（6自由度）到末端夹爪状态的完整动作序列，以及来自左腕和顶部两个视角的视觉观测，为模仿学习提供了丰富的多模态数据源。

特点

数据集呈现两大显著特性：其一，数据规模适中但结构完整，包含80个回合、37310帧画面，以30帧/秒的采样频率确保了时间序列的连贯性；其二，观测信息兼具深度与广度，既保留了机器人本体的状态空间（肩部、肘部、腕部及夹爪的精确位置），又融入了双视角RGB图像，能够支撑视觉-运动联合建模。此外，数据已按标准划分为训练集，且以1000帧为单元分块存储，便于高效加载与分布式处理。

使用方法

该数据集可直接通过Hugging Face的LeRobot生态工具进行可视化与调用。用户可借助`lerobot`库的`Dataset`接口读取Parquet文件与对应视频，并利用`chunks_size`参数实现分批次流式加载。数据集已预设统一的特征字典，开发者能够无缝适配于模仿学习或强化学习管线，例如将`observation.state`与`observation.images`作为输入、`action`作为输出进行策略网络训练。同时，通过`Visualize Dataset`在线空间可交互式预览各回合的机器人操作轨迹。

背景与挑战

背景概述

该数据集由研究者HyeonseokE基于LeRobot框架构建，发布于HuggingFace平台，旨在为机器人操作任务提供标准化训练数据。数据集聚焦于“将巧克力派均匀分配至每个餐盘”这一精细操作场景，共包含80个演示片段（episodes），总计37310帧，由SO-Follower型机械臂通过遥操作（teleoperation）采集。该数据集以6维关节空间动作（肩部、肘部、腕部等）与双视角视觉输入（顶视、左腕摄像头）作为核心特征，为模仿学习与机器人技能迁移提供了基础资源。其发布顺应了机器人领域对低成本、可复现操作数据集的需求，尤其推动了面向日常家务场景的灵巧操作研究发展。

当前挑战

该数据集面临的挑战体现在多个层面。从领域问题看，它针对的机器人精细化操作任务（如食品分配）要求高度的动作一致性与环境适应性，但现有模型在应对未观测到的物体位姿变化、光照干扰及非刚性物体（如巧克力派）形变时泛化能力不足。从构建过程看，80个片段的规模虽适合概念验证，但远不足以覆盖真实厨房场景的多样性，且缺乏对背景杂物、多任务配置的探索。此外，单一机械臂型号与固定工作空间的设定限制了数据的迁移性，而仅靠遥操作采集则可能引入人为延时与策略偏差，影响模型对动态环境的鲁棒性。

常用场景

经典使用场景

在机器人操作与模仿学习的研究领域中，SO101-teleop_distribute_chocolate_pie_each_plate_80epi数据集以其精细的遥操作数据捕获而著称。该数据集专为训练机器人执行‘将巧克力派分配到每个盘子’这一高精度任务而设计，涵盖80个完整示教回合，共约37,310帧图像与动作序列。其经典使用场景集中于基于视觉的运动策略学习，研究者可借助左右腕部与顶部摄像头提供的多视角视频流，结合六自由度关节状态与执行器指令，构建从感知到动作的端到端映射模型，从而复现复杂的物体搬运与空间分配行为。

解决学术问题

该数据集直击机器人领域中的少样本模仿学习与精密操控泛化难题。传统方法常受限于任务特定数据匮乏或模型对姿态变化的脆弱性，而本数据集通过提供标准化且富含多样性的示教轨迹，有效支撑了行为克隆、逆强化学习及基于模型的策略优化等方向的研究。其意义在于揭示了如何在有限示教下高效习得稳健的物体分配技能，推动了机器人从实验室设定向厨房、物流等杂乱环境迁移的学术进程，为构建具备类人灵巧性的自主系统奠定了数据基础。

衍生相关工作

基于此数据集，已衍生出多项启发式工作：一是结合扩散策略（Diffusion Policy）的轨迹生成模型，利用数据中的多模态观测预测平滑动作序列；二是面向跨任务迁移的元学习框架，通过本数据集作为源域，加速新摆盘任务的少样本适应；三是对抗性数据增强方法，借助数据中的原始视频构建干扰场景，提升策略对动态障碍物的规避能力。这些工作共同拓展了遥操作数据集在机器人通用技能学习中的范式价值。