jae0311/serving_without_palm

该数据集使用LeRobot创建，是一个机器人操作数据集，专门用于机器人学任务。数据集包含166个episodes和95697帧数据，涉及多个具体任务，例如向左端杯子、向右端杯子、将盘子放在中心、返回起始位置等。数据特征包括动作（action）和观察（observation），其中观察由状态（state）和图像（images）组成；状态数据包括机器人关节位置（如肩部平移、肩部提升、肘部弯曲、腕部弯曲、腕部旋转和夹爪位置），而图像数据来自顶部和腕部摄像头，以视频形式存储，分辨率为480x640，帧率为30fps，使用AV1编解码器。数据集采用Apache 2.0许可证，数据以parquet文件格式组织，视频文件为mp4格式。机器人类型为omx_follower，适用于训练和评估机器人控制模型。This dataset was created using LeRobot and is a robotics operation dataset specifically designed for robotics tasks. It contains 166 episodes and 95697 frames of data, involving multiple specific tasks such as serve cup to the left, serve cup to the right, place plate at center, return to home, etc. The data features include actions and observations, where observations consist of state and images; state data includes robot joint positions (e.g., shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, and gripper positions), while image data comes from top and wrist cameras, stored as videos with a resolution of 480x640, a frame rate of 30fps, and using the AV1 codec. The dataset is licensed under Apache 2.0, with data organized in parquet file format and video files in mp4 format. The robot type is omx_follower, suitable for training and evaluating robot control models.

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，通过操控OMX Follower机器人采集现实世界中的服务操作数据。原始数据被组织为166个episode，每个episode对应一次完整的任务执行序列。数据存储采用Parquet格式，其中动作与观测状态以32位浮点数列的形式记录，分别包含六个自由度（肩关节、肘关节、腕关节及夹爪的位置信息）。同时，数据集包含来自顶部和腕部两个视角的高清视频流，均以每秒30帧的AV1编码存储，分辨率为640×480。

特点

该数据集最显著的特点在于其多模态融合特性：同步记录了6维关节空间的动作指令与状态反馈，以及两个视角的视觉观测，为模仿学习算法提供了丰富的感知与执行对应关系。此外，数据集覆盖了六种不同的服务任务变体，从简单的“向左递杯”到复合的“向右递杯并居中放置餐盘”，体现了任务标签的层次化与组合多样性。整体数据规模包含近10万帧，视频数据与结构化数据的比例设计合理，便于联合训练。

使用方法

用户可通过Hugging Face上LeRobot库的加载接口直接访问该数据集。使用时需指定配置名为'default'，数据将自动划分为训练集（全部166个episode）。在典型应用中，研究者可提取'observation.state'作为机器人的当前姿态特征，结合'observation.images.top'和'observation.images.wrist'作为视觉输入，以'action'作为目标输出，构建端到端的模仿学习模型。任务标签由'task_index'字段提供，可依据JSON中的任务映射列表实现多任务学习。

背景与挑战

背景概述

在机器人学习领域，模仿学习作为从人类示范中获取技能的重要手段，长期以来受限于高质量、跨场景操作数据集的匮乏。serving_without_palm数据集由Hugging Face LeRobot社区创建，旨在为机械臂的餐桌服务任务提供标准化训练基准。该数据集于近期发布，基于Omx Follower机器人平台，通过远程操作采集了166个高质量示范片段，涵盖“向左递杯”、“向右递杯”、“放置盘子至中央”等六类典型服务动作。数据以30帧/秒的采样率同步记录了六维关节状态与顶部、腕部双视角RGB视频，总帧数达95,697帧。作为LeRobot生态中的核心数据资产，该数据集填补了精细操作领域多任务模仿学习的空白，为机器人从人类演示中泛化学*餐桌服务技能提供了关键支撑。

当前挑战

该数据集的核心领域挑战在于解决机器人精细操作中动作泛化与场景鲁棒性的矛盾。餐桌服务涉及杯、盘等易碎物品的抓取与放置，要求机械臂在非结构化环境下实现高精度轨迹复现，然而当前数据仅涵盖单一机械臂（Omx Follower）和固定视角，限制了模型对未知构型机器人与动态桌面的迁移能力。构建过程中，远程操作虽降低了标注成本，但每段轨迹需手动对齐关节角度与多模态观测信号（如视频编码压缩导致的画质损失），确保时间同步的准确性成为瓶颈。此外，166个示范片段对于六类复杂动作的分布覆盖仍显稀疏，尤其是组合任务（如“向左递杯并放置盘子”），存在长尾分布与动作突变问题，对*惯学习算法的时序建模提出严苛要求。

常用场景

经典使用场景

在机器人学习与操作领域，数据驱动的模仿学习策略日益成为主流。serving_without_palm 数据集专为训练机械臂完成桌面服务任务而设计，其经典使用场景集中于基于视觉的机器人操控。数据集记录了六自由度机械臂在166个回合中的多模态数据，包括关节角度、6维动作指令以及来自顶部与腕部摄像头的视频流。研究者可利用这些数据训练端到端的神经网络模型，使机器人学会根据视觉输入复制演示动作，典型任务如“将杯子递向左方”或“将盘子放置中央”，从而在仿真或真实环境中复现精细的物体抓取与摆放操作。

实际应用

在实际应用层面，该数据集为服务机器人提供了从科研原型向商业落地的桥梁。依托其中记录的精细操作序列，智能机械臂可被训练用于餐饮行业的点菜递送、家庭场景中的餐具整理以及实验室中的物品拾取与归位。特别是顶部与腕部摄像头的双重视觉输入，赋予了机器人作业于动态环境中抵抗遮挡的能力。该数据还加快了机器人编程的民主化进程，使得非专业用户通过少量示教即可让机器人掌握新技能，例如餐厅服务员能够快速为机械臂配置新的摆盘动作而无须代码介入。

衍生相关工作

基于serving_without_palm这一高质量数据集，衍生出一系列推动机器人学习前沿的经典工作。在算法层面，它启发了将扩散模型应用于带有多模态观察的机器人动作预测研究，实现了比传统行为克隆更平滑且鲁棒的轨迹生成；在系统层面，结合LeRobot框架的标准化数据格式，研究者构建了跨平台的机器人训练与评估管线，显著降低了从数据采集到策略部署的重复劳动。此外，该数据集还催生了关于任务表示学习的研究——通过分析同一机械臂在不同服务子任务中的运动模式差异，为通用机器人技能的元学习与零样本迁移提供了关键数据支撑。