trytoycon/dish_pick_phaseB20_20260527_001907

--- license: apache-2.0 task_categories: - robotics tags: - LeRobot configs: - config_name: default data_files: data/*/*.parquet --- This dataset was created using [LeRobot](https://github.com/huggingface/lerobot). <a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=trytoycon/dish_pick_phaseB20_20260527_001907"> <img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/> <img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/> </a> ## Dataset Description - **Homepage:** [More Information Needed] - **Paper:** [More Information Needed] - **License:** apache-2.0 ## Dataset Structure [meta/info.json](meta/info.json): ```json { "codebase_version": "v3.0", "fps": 30, "features": { "action": { "dtype": "float32", "names": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ], "shape": [ 6 ] }, "observation.state": { "dtype": "float32", "names": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ], "shape": [ 6 ] }, "observation.images.front": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false } }, "observation.images.wrist": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false } }, "timestamp": { "dtype": "float32", "shape": [ 1 ], "names": null }, "frame_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "episode_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "task_index": { "dtype": "int64", "shape": [ 1 ], "names": null } }, "total_episodes": 20, "total_frames": 11666, "total_tasks": 1, "chunks_size": 1000, "data_files_size_in_mb": 100, "video_files_size_in_mb": 200, "data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet", "video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4", "robot_type": "so_follower", "splits": { "train": "0:20" } } ``` ## Citation **BibTeX:** ```bibtex [More Information Needed] ```This dataset is a robotics dataset created using LeRobot, focusing on robot control tasks. It contains 20 total episodes and 11666 total frames, stored in parquet format with accompanying video files. Features include: action, representing robot joint positions (e.g., shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, gripper position); observation.state, similar to action, providing joint position information; observation.images.front and observation.images.wrist, which are video data with a resolution of 480x640 at 30 frames per second, capturing front and wrist camera views; and metadata such as timestamp, frame index, episode index, task index, etc. The robot type is so_follower, and the dataset is intended for training or evaluating robot learning models, supporting visual and state feedback.

搜集汇总

数据集介绍

构建方式

在机器人学习领域，高质量的示范数据是训练精细操作策略的基石。该数据集依托LeRobot框架构建，采集自so_follower机械臂执行餐盘拾取任务的真实操作过程。构建过程中，操作者通过遥操作方式控制机械臂完成单一项任务，系统以30帧每秒的频率同步记录关节位置、末端执行器状态以及前视与腕部双路视频流，最终形成涵盖20个完整回合、总计11666帧的示范轨迹。所有数据按照LeRobot v3.0规范以Parquet格式存储状态与动作序列，视频流则编码为AV1格式的MP4文件，并通过元数据文件精确索引各模态信息的路径与分块结构。

特点

该数据集面向机器人精细操作任务，具有多模态同步采集的显著特征。数据同时涵盖六自由度关节位置与夹爪开合状态的动作空间，以及对应的本体感知状态，并配备前向视角与腕部视角两路480×640分辨率的视频观测，为策略学习提供丰富的视觉反馈。数据集规模精简而完整，包含20条任务回合，单任务设定使数据分布集中，适合作为特定操作技能的验证基准。所有视频均以AV1编码压缩，在保证视觉质量的同时降低存储开销，元数据中详细记录帧率、编码格式与分块策略，便于高效读取与训练部署。

使用方法

使用者可借助LeRobot工具链便捷地加载与处理该数据集。通过Hugging Face平台提供的可视化空间，可在线回放各回合的机械臂运动轨迹与同步视频，直观核验数据质量。训练时，可从Parquet文件中读取动作与状态序列，并依据info.json中定义的路径规则解析对应视频帧，构建模仿学习或强化学习所需的观测-动作对。数据集已预设训练集划分，涵盖全部20个回合，可直接用于策略网络的离线训练。对于需要自定义数据管线的场景，亦可基于Apache-2.0协议自由提取与转换数据内容。

背景与挑战

背景概述

在机器人学习与具身智能迅猛发展的背景下，高质量、标准化的操作数据集成为推动算法迭代与泛化能力提升的关键基础设施。dish_pick_phaseB20_20260527_001907数据集依托LeRobot框架构建，于2026年发布，由HuggingFace社区成员贡献，聚焦于机械臂在家庭服务场景下的餐具抓取任务。该数据集采集了20条演示轨迹，总计11666帧，涵盖6自由度关节位置与双视角视觉观测，旨在为模仿学习与视觉-运动策略研究提供细粒度、可复现的基准资源。其诞生呼应了机器人操作领域对真实世界多模态数据日益增长的需求，有望促进抓取策略在非结构化环境中的迁移与评估。

当前挑战

餐具抓取作为典型的非结构化操作任务，面临物体形态多样、材质反光、堆叠遮挡及接触动力学复杂等固有难题。构建该数据集时，需在真实物理环境中同步采集高频关节状态与双路视频流，并确保时间戳对齐与轨迹连贯性；同时，受限于演示者操作一致性、传感器噪声及场景光照变化，数据分布易出现偏差，影响策略学习的鲁棒性。此外，20条轨迹的有限规模难以覆盖广泛初始位姿与物体配置，对泛化能力验证构成挑战，而LeRobot生态下的格式兼容性与视频编码压缩亦对数据保真度提出约束。

常用场景

经典使用场景

在机器人学习领域，基于视觉的抓取与放置任务长期被视为检验策略泛化能力的重要基准，而该数据集恰以餐具拾取为具体场景，提供了由六自由度机械臂执行的二十条完整演示轨迹。每条轨迹以三十帧每秒的速率同步记录前视与腕部双路视觉观测、关节位置与夹爪开合状态以及对应的动作指令，构成模仿学习与视觉运动策略训练的经典数据形态。研究者常将其用于行为克隆、扩散策略等算法的离线训练与评估，在统一的任务框架下考察模型对物体位姿变化与抓取时序的建模水平。

解决学术问题

该数据集所应对的核心学术问题在于视觉引导的精细操作中感知与动作的耦合难题。传统方法在高维视觉输入与低维控制输出之间难以建立稳健映射，尤其在餐具这类形状规则但反光明显的物体上，抓取点选择与夹爪闭合时机往往依赖人工设计的启发式规则。该数据集通过提供端到端的多模态演示，使研究者能够检验状态表示学习、时序建模与策略泛化之间的关系，为理解示范数据规模、视觉编码器结构对抓取成功率的影响提供了可复现的实验载体，对推动数据驱动的机器人操作研究具有实证意义。

衍生相关工作

围绕该数据集衍生的经典工作主要体现在模仿学习与视觉运动策略两个方向。研究者以类似LeRobot格式采集的抓取数据集为基础，发展出以扩散策略、ACT等为代表的序列建模方法，并在跨物体与跨场景的泛化评测中反复引用此类数据。腕部与前置相机并置的观测结构亦被后续工作借鉴，用于研究视角选择对策略鲁棒性的影响。这些衍生研究共同构成了从单一任务演示到通用操作策略的方法谱系，而该数据集作为其中特定任务阶段的数据实例，为方法比较与消融实验提供了可复用的基准。