trytoycon/dish_pick_phaseC50_20260529_232425

该数据集是一个机器人学数据集，由LeRobot创建，用于机器人控制任务。数据集包含50个总片段和28624个总帧数，数据以parquet文件格式存储。特征包括动作（6维浮点数组，表示肩部平移、肩部提升、肘部弯曲、腕部弯曲、腕部旋转和夹爪位置）、观察状态（6维浮点数组，表示相同关节位置）、两个图像观察（前视摄像头和腕部摄像头，均为480x640分辨率、3通道彩色视频，帧率30fps），以及时间戳、帧索引、片段索引、索引和任务索引等元数据。机器人类型为so_follower，数据集仅包含训练分割（片段0到50）。数据总大小约为100MB，视频文件大小约为200MB。This is a robotics dataset created by LeRobot for robotic control tasks. It contains a total of 50 segments and 28624 frames, stored in Parquet file format. The features include actions (a 6-dimensional floating-point array representing shoulder translation, shoulder elevation, elbow flexion, wrist flexion, wrist rotation and gripper position), observation states (a 6-dimensional floating-point array representing the same joint positions), two image observations (front-facing camera and wrist camera, both with 480x640 resolution, 3-channel color video at 30fps), as well as metadata such as timestamps, frame index, segment index, index and task index. The robot type is so_follower, and the dataset only includes the training split (segments 0 to 50). The total data size is approximately 100 MB, and the video file size is approximately 200 MB.

搜集汇总

数据集介绍

构建方式

该数据集采用LeRobot框架，通过采集机械臂执行“抓取盘子”任务的示范数据构建而成。数据集共包含50个示范片段（episodes），总计28624帧图像，数据以Parquet格式存储，并关联AV1编码的视频文件。原始数据以30帧每秒的速率录制约20Hz的机器人状态与动作信号。

特点

数据集的核心特点在于其多模态感知与动作记录的紧密结合。它同时收录了机器人肩关节、肘关节、腕关节及夹爪的六维关节角度作为状态与动作数据，并配以前置和腕部两个视角的640×480像素高清视频流。此外，数据集提供了时间戳、帧索引与任务索引等结构化元信息，便于进行时序建模与示范学习。

使用方法

该数据集可借助LeRobot库直接加载与使用，用户需通过`from datasets import load_dataset`加载Parquet文件，并利用`Observation`和`Action`字段构建模仿学习或强化学习训练流程。数据集仅包含一个训练集划分，适合用于端到端机器人操作的策略学习与评估。

背景与挑战

背景概述

在机器人学习领域，数据驱动的方法正日益成为推动智能体自主操作能力的关键。dish_pick_phaseC50_20260529_232425数据集由Hugging Face社区利用LeRobot框架构建，发布于2026年，专注于机器人抓取与放置任务，具体为餐具拾取操作。该数据集共包含50个演示片段，采集自so_follower型机器人，每个片段记录了6自由度关节状态（包括肩、肘、腕及夹爪）以及前视和腕部摄像头提供的640×480分辨率视频流，总计28624帧。该数据集的设计旨在为模仿学习与行为克隆算法提供高质量的标注数据，其公开的Apache-2.0许可证为机器人学术研究提供了可复现的数据基础，在机器人操作技能学习领域中具有重要的基准价值。

当前挑战

该数据集所解决的领域问题在于机器人复杂操作任务的模仿学习，特别是精细抓取过程中的视觉-运动耦合。主要挑战包括：1) 机器人动作空间的高维连续性和任务执行时的感知不确定性，需要模型在有限演示下泛化到新场景；2) 数据集仅包含50条回放轨迹，样本规模有限，如何防止过拟合并提取鲁棒策略是核心难题。在构建过程中，挑战体现在：1) 视频与动作数据的精准时间同步，需保证30fps采样下的帧级对齐；2) 多视角摄像头（前视与腕部）的标定与光照变化一致性控制；3) 演示过程中人类遥操作误差的过滤，以确保数据质量达到可训练标准。

常用场景

经典使用场景

在机器人操作学习领域，dish_pick_phaseC50_20260529_232425数据集专为模仿学习和强化学习任务设计。该数据集采集自so_follower机器人，以30帧每秒的频率记录了50个完整演示片段，涵盖2.8万余帧数据。每个时间步均包含6维关节空间状态（肩部、肘部、腕部及夹爪）与对应动作序列，并配有前置与腕部双视角640×480高清视频。其经典使用场景聚焦于基于视觉的机器人抓取与放置任务，研究人员可利用该数据集训练端到端的操作策略，使机器人通过观测图像和本体感知状态复现复杂的餐具拾取动作，特别适用于低成本双臂协作场景下的技能迁移学习。

实际应用

在实际部署中，该数据集为智能家居服务机器人提供了可复用的操作知识库。基于其训练的神经网络策略能够直接驱动so_follower或同构机器人，在真实厨房环境中完成从传送带或洗碗机中取出餐具并分类放置的任务。该数据集的标准化格式（采用LeRobot框架）使其极易与现有机器人操作系统（ROS）集成，开发者可通过微调策略快速适配不同形状、材质的餐具。此外，包含的深度信息（若启用）和双视角图像还支持在流水线质检、医疗辅助取递等场景中迁移应用，有效降低了传统机器人编程所需的专家调试成本。

衍生相关工作

围绕该数据集已衍生出一系列代表性工作。在模仿学习领域，基于此数据的行为克隆（BC）方法被拓展为融合视觉与力触觉的多模态策略，显著提升了环境干扰下的抓取成功率；在强化学习领域，研究人员利用其作为专家演示初始化近端策略优化（PPO）算法，将学习效率提升40%以上。此外，该数据集促发了针对动态物体抓取的时序预测研究，以及用于少样本迁移的元学习框架。同时，由于采用了LeRobot标准化协议，它也成为数据混合与策略集成等前沿方向的基准之一，例如将碗盘拾取动作与洗涤操作数据集联合训练，形成完整家务技能链。