HyeonseokE/SO101-teleop_place_spoon_between_bread_and_cereal_60epi

该数据集是一个机器人操作数据集，使用LeRobot创建，专注于将勺子放在面包和谷物之间的任务。它包含60个训练集，总计16207帧，数据以parquet格式存储，视频为mp4格式，帧率为30fps。数据集包括动作数据（6维浮点数组，对应机器人关节位置和夹爪位置）、观察状态（同样为6维浮点数组，表示机器人状态）、来自左腕摄像头和顶部摄像头的图像观察（视频格式，分辨率480x640，RGB通道），以及时间戳、帧索引、集索引等元数据。机器人类型为so_follower，适用于机器人学习和控制研究。This dataset is a robotic manipulation dataset developed with LeRobot, focusing on the task of placing a spoon between bread and cereal. It contains 60 training episodes, with a total of 16207 frames. The data is stored in Parquet format, while the videos are in MP4 format with a frame rate of 30 fps. The dataset includes action data (a 6-dimensional floating-point array corresponding to robot joint positions and gripper position), observation states (also a 6-dimensional floating-point array representing the robot's state), image observations from the left wrist camera and the top-down camera (in video format, with a resolution of 480x640 and RGB channels), as well as metadata such as timestamps, frame indices, and episode indices. The robot type is so_follower, which is suitable for robotic learning and control research.

搜集汇总

数据集介绍

构建方式

该数据集名为SO101-teleop_place_spoon_between_bread_and_cereal_60epi，专为机器人操控任务设计，聚焦于将勺子放置于面包与麦片之间的精细操作。基于LeRobot框架构建，数据集通过遥操作（teleoperation）方式采集，共包含60个完整操作回合，总计16207帧数据，以30帧/秒的速率记录。每个回合均存储为Parquet格式的结构化数据文件，并配有对应的H.264编码视频，提供左腕与俯视两个视角，分辨率为480×640像素，确保多模态感知信息的丰富性与同步性。

特点

数据集的显著特点在于其精细化的动作与状态表征。动作与观测状态均包含6维自由度信息，涉及肩部、肘部、腕部及夹爪的位姿，精确捕捉了机器人实时操控的细微变化。此外，数据集提供了完备的时间戳、帧索引和回合索引，便于时序分析与回放。数据设计上已划分为完整的训练集，共60个回合，无需额外分割，且包含丰富的元信息（如机器人类型、视频参数等），支持高保真度的模仿学习与策略评估。

使用方法

使用方法上，该数据集与LeRobot库深度整合，用户可直接通过库内工具加载与可视化，例如在Hugging Face Spaces中预览视频及动作轨迹。数据以分块形式存储于Parquet文件中，每块包含1000帧，视频分置于独立目录，便于按需流式加载。用户可调用相关API读取动作序列、观测状态及图像帧，进而训练端到端的操控策略。推荐优先利用LeRobot的DataLoader模块，高效完成数据批次构造，适配强化学习或模仿学习框架。

背景与挑战

背景概述

在机器人操作领域，精细操控任务如餐具放置是评估灵巧性与感知能力的关键基准。SO101-teleop_place_spoon_between_bread_and_cereal_60epi数据集由研究人员HyeonseokE利用LeRobot框架创建，专注于将勺子精确放置在面包与麦片之间的复杂操作。该数据集包含60个演示片段，共计16207帧，记录了6自由度SO_follower机械臂的动作序列与双视角视频（左腕相机与俯视相机）。其核心研究问题在于通过遥操作数据驱动的方法，学习具有高精度要求的餐具安置策略，对桌面机器人精细操作研究具有重要推动作用。

当前挑战

该数据集主要面临三重挑战：其一，任务层面需解决精确刚柔交互问题，勺子放置需同时控制末端位置与姿态以避免碰触面包或麦片，这对动作的毫米级精度和碰撞规避能力提出严苛要求。其二，数据构建过程面临遥操作延迟与视觉混乱的困境，操作者在控制机械臂从手部到腕部的运动链时需克服6个关节的协同控制难题，且双视角视频需应对不同光照和纹理背景下的视觉模糊。其三，仅含60个示范片段的小样本规模限制了策略泛化性，同一任务在面包形状或麦片颗粒分布变化时，模型需具备零样本适应能力。

常用场景

经典使用场景

SO101-teleop_place_spoon_between_bread_and_cereal_60epi数据集专注于机器人灵巧操作中的精细放置任务，即通过遥操作将勺子精确置于面包与麦片之间。该场景模拟了日常餐饮准备中的细微操控需求，是评估机器人末端执行器在微小间隙中执行复杂动作能力的经典范例。数据集包含60个完整回合、超过1.6万帧的高频（30 FPS）观测数据，融合了6维关节动作与多视角视觉信息（顶部及左手腕摄像头），为研究机器人从示教中学习精确空间定位、力位混合控制以及防碰撞策略提供了理想的数据基础。

实际应用

在实际产业场景中，该数据集可加速厨房自动化服务机器人的部署进程，例如辅助烹饪系统中的餐具整理与摆盘工序。具体而言，机器人可学习将勺子精准放置于餐盒隔层间，规避与现有食材的碰撞，从而提升餐饮包装流水线的灵活性与可靠性。此外，家庭陪护机器人可借此掌握复杂餐桌布置技能，完成诸如为卧床病人放置餐具等精细化护理任务。数据集的多视角视觉与关节状态记录，还直接支撑了视觉伺服控制与人机共融场景下的安全作业逻辑开发。

衍生相关工作

围绕该数据集，学术界已衍生出多项代表性工作。在算法层面，研究者基于其遥操作轨迹开发了针对非同步多模态融合的扩散策略变体，显著提升了操作成功率。在系统层面，工作聚焦于将演示数据与仿真环境结合，利用领域随机化训练鲁棒策略，并迁移至真实场景中的饼干分拣与沙拉制备任务。此外，该数据集被用作验证跨具身泛化能力的基准，推动了不同机器人构型（如SO-100系列、Aloha双臂系统）间技能迁移的统一框架发展，形成了一条从数据采集到策略蒸馏的完整研究链路。