HyeonseokE/SO101-teleop_distribute_chocolate_pie_each_plate_40epi

该数据集是使用LeRobot平台创建的机器人操作数据集，具体任务为远程操作分发巧克力派到每个盘子。数据集包含40个完整操作序列（episodes），总计18820帧，帧率为30fps。数据特征包括：机器人的6维动作空间（肩部平移、肩部升降、肘部弯曲、腕部弯曲、腕部旋转、夹爪位置）；观察状态（与动作相同的6维关节位置）；两个摄像头视角的图像观察（左腕部摄像头和顶部摄像头，均为480x640分辨率RGB视频）；以及时间戳、帧索引、episode索引等元数据。数据集采用Apache 2.0许可证，数据以parquet格式存储，视频以MP4格式存储，总数据量约300MB（数据100MB，视频200MB）。This dataset was created using the LeRobot platform for robotic manipulation tasks, specifically for teleoperation distributing chocolate pie to each plate. It contains 40 complete episodes with a total of 18,820 frames at 30 fps. The features include: a 6-dimensional action space (shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, gripper positions); observation state (same 6 joint positions); image observations from two camera views (left wrist and top cameras, both 480x640 resolution RGB video); and metadata such as timestamp, frame index, episode index. The dataset is licensed under Apache 2.0, stored in parquet format for data and MP4 for videos, with a total size of approximately 300MB (100MB data, 200MB videos).

搜集汇总

数据集介绍

构建方式

该数据集通过遥操作（teleoperation）方式构建，基于SO-100型机器人平台，由操作者远程操控机械臂执行将巧克力派均匀分配到多个餐盘中的任务。数据采集过程共完成40个回合（episodes）的演示，每个回合记录连续的关节控制序列与对应视觉反馈，最终整合为包含18820帧的标准化数据集。

使用方法

数据集按默认配置划分为40个训练回合，通过HuggingFace平台可直接调用LeRobot工具包实现可视化与加载。用户可使用parquet格式数据文件与mp4视频文件，结合LeRobot的API接口提取动作、状态与图像序列，适用于模仿学习、机器人技能迁移等任务的研究与开发。

背景与挑战

背景概述

该数据集由HyeonseokE团队于近期利用LeRobot框架构建，聚焦于机器人遥操作（teleoperation）领域中的精细操作任务——将巧克力派均匀分配至每个餐盘。数据集以SO101型从属机器人（so_follower）为实验平台，通过40个操作回合（episode）记录了18,820帧包含6自由度关节状态与多视角视觉信息（左腕相机与顶部相机）的高保真时序数据。作为工业与家庭服务机器人从演示中学习（Learning from Demonstration）的关键资源，该数据集为研究机器人动作序列的生成、状态表征学习及视觉-动作联合建模提供了标准化实验基准，尤其推动了机器人灵巧操作与任务泛化能力的发展。

当前挑战

该数据集的核心挑战在于解决机器人精细操作任务中的高精度控制与泛化能力不足问题。巧克力派分配任务要求机器人在非结构化环境中实现厘米级空间定位与柔性夹取，这对动作预测模型的空间推理与动态适应性提出严苛要求。构建过程中，遥操作系统的延迟补偿、多相机视角的时空同步误差、以及不同操作员演示策略的歧义性，显著增加了数据采集的复杂度。此外，40个训练回合的有限规模难以覆盖真实场景中的任务变体，如餐盘位置偏移或巧克力派形态变化，易导致模型过拟合与泛化失效。如何从低维度状态与高维视觉输入中提取鲁棒的特征表征，并实现跨场景的技能迁移，仍是该领域亟待突破的瓶颈。

常用场景

经典使用场景

在机器人学习领域，SO101-teleop_distribute_chocolate_pie_each_plate_40epi数据集为模仿学习与行为克隆提供了宝贵的训练素材。该数据集包含40个演示片段，记录了SO_100型机械臂在遥操作控制下将巧克力派精准分配到每个盘子中的完整流程。每个片段以30帧每秒的采样率捕捉机械臂六自由度关节位置状态及左右腕部、顶部的多视角视觉信息，形成了包含动作序列与观测状态的同步时空数据流。研究者常利用此数据集训练策略网络，使机器人从人类示范中学习精细的物体放置与分配行为，尤其适合验证基于视觉的运动规划与端到端控制算法的有效性。

解决学术问题

该数据集直面机器人操作任务中数据稀缺与泛化困难的学术瓶颈。传统强化学习在复杂操作场景下需要海量交互样本，而人类遥操作演示提供了高效的知识迁移路径。通过高保真记录关节角度与多视角图像，数据集为研究跨场景的视觉运动策略、解决从演示到自主执行的域适应问题奠定了数据基础。其价值在于推动机器人从单一任务学习向多任务泛化能力演进，同时为评估算法在狭窄空间内的避障与精准投放等非平凡操作中的表现提供了标准化基准，促进了可重复性研究与公平对比。

实际应用

在实际应用中，该数据集训练出的策略可直接部署于餐饮服务与食品加工场景，例如自动化配餐系统。机械臂学习到的巧克力派分配技能可迁移至分拣糕点、摆放餐具等相似任务，助力实现厨房后厨的柔性自动化。此外，数据集中的多视角视觉数据对于开发具备环境感知能力的家庭服务机器人至关重要，使其能在动态非结构化环境中完成从取物到放置的连贯操作。这种基于演示的学习范式降低了机器人编程的技术门槛，使得非专业用户也能通过遥操作引导机器人掌握新型操作技能，加速了服务机器人在商业与家庭场景的落地。

数据集最近研究

最新研究方向

在机器人学习领域，SO101-teleop_distribute_chocolate_pie_each_plate_40epi数据集聚焦于遥操作操控中的精细化物体分发任务，这紧随当前具身智能研究中“从示范中学习”的前沿热潮。该数据集包含40个示范回合，通过LeRobot框架采集了SO系列机械臂在执行巧克力派分配至各盘子的高精度动作序列，同时记录六维关节状态及多视角视觉输入。此类数据为模仿学习与行为克隆算法提供了关键基准，尤其适用于研究复杂操纵技能在泛化场景下的迁移能力。其意义在于填补了精细食品操作任务的标准化数据空白，有望推动家庭服务机器人在非结构化环境中的实操部署，呼应了通用机器人平台对高质量任务数据的迫切需求。