Rick0331/openarm_tablewares_sort_click_test

--- license: apache-2.0 task_categories: - robotics tags: - LeRobot configs: - config_name: default data_files: data/*/*.parquet --- This dataset was created using [LeRobot](https://github.com/huggingface/lerobot). <a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=Rick0331/openarm_tablewares_sort_click_test"> <img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/> <img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/> </a> ## Dataset Description - **Homepage:** [More Information Needed] - **Paper:** [More Information Needed] - **License:** apache-2.0 ## Dataset Structure [meta/info.json](meta/info.json): ```json { "codebase_version": "v3.0", "robot_type": "openarm_follower", "total_episodes": 1, "total_frames": 648, "total_tasks": 1, "chunks_size": 1000, "data_files_size_in_mb": 100, "video_files_size_in_mb": 200, "fps": 30, "splits": { "train": "0:1" }, "data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet", "video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4", "features": { "action": { "dtype": "float32", "shape": [ 8 ], "names": [ "joint_1.pos", "joint_2.pos", "joint_3.pos", "joint_4.pos", "joint_5.pos", "joint_6.pos", "joint_7.pos", "gripper.pos" ] }, "observation.state": { "dtype": "float32", "shape": [ 8 ], "names": [ "joint_1.pos", "joint_2.pos", "joint_3.pos", "joint_4.pos", "joint_5.pos", "joint_6.pos", "joint_7.pos", "gripper.pos" ] }, "observation.images.front": { "dtype": "video", "shape": [ 720, 1280, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 720, "video.width": 1280, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false } }, "observation.images.wrist": { "dtype": "video", "shape": [ 720, 1280, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 720, "video.width": 1280, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false } }, "timestamp": { "dtype": "float32", "shape": [ 1 ], "names": null }, "frame_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "episode_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "task_index": { "dtype": "int64", "shape": [ 1 ], "names": null } } } ``` ## Citation **BibTeX:** ```bibtex [More Information Needed] ```This dataset was created using LeRobot and belongs to the robotics domain, focusing on operational tasks for an openarm_follower robot. It contains 1 episode with a total of 648 frames at a frame rate of 30fps. The data is stored in parquet format, and videos are stored in mp4 format. Features include 8-dimensional float32 actions (corresponding to 7 joint positions and 1 gripper position) and 8-dimensional float32 observation states (similarly for joints and gripper), as well as video observations from two cameras (front and wrist), both with a resolution of 720x1280 and 3 color channels. Additionally, metadata such as timestamp, frame index, episode index, index, and task index are included. The dataset is intended for training or evaluating robot control algorithms, particularly for vision-based robotic manipulation tasks.

搜集汇总

数据集介绍

构建方式

该数据集专为机器人操作学习领域设计，基于LeRobot框架构建，旨在支持开放式机械臂（OpenArm）执行餐具分类与点击任务的训练与评估。数据集采用结构化的数据存储方式，将原始传感器与执行器信息分块存储为Parquet格式文件，同时将视觉观测数据以MP4视频形式独立保存，每帧以30帧每秒的速率记录。每个episode包含多帧连续的机械臂关节角度、夹爪位置、时间戳、帧索引及任务索引等信息，并通过chunk和file索引进行高效组织。数据集的构建强调完整的多模态信息对齐，便于后续模仿学习或强化学习算法的直接使用。

特点

该数据集的核心特征在于其多模态、高维度的观测空间与精准的动作标注。观测维度包含8维的关节状态向量（涵盖7个关节位置与夹爪开合度）以及两个高清摄像头视角——正面和腕部视角，分辨率达1280×720像素。动作空间与观测状态空间保持一致的8维结构，实现了状态-动作的闭环对齐。此外，每个时间步均记录详细的时序信息，如frame_index与episode_index，支持序列建模与长程依赖学习。数据集采用Apache-2.0许可证发布，具备良好的开放性与可复现性，适用于机器人抓取与精细操作任务的学术研究。

使用方法

使用该数据集时，推荐借助LeRobot提供的可视化工具与加载接口进行快速探索与分析。用户可通过HuggingFace Spaces上的交互式可视化界面预览各episode的轨迹与图像数据。在代码层面，可通过LeRobot的Dataset类直接读取Parquet文件与对应视频，利用返回的字典结构获取action、observation.state及多视角图像等字段。数据集的chunk分片设计便于分布式训练或按需加载，支持将数据转换为PyTorch或TensorFlow张量格式以融入深度学习流水线。对于序列建模任务，可依据episode_index划分不同的轨迹序列，并配合frame_index构建时间序列批次。

背景与挑战

背景概述

在机器人学习与操作领域，基于模仿学习和强化学习的算法对高质量、多模态的示范数据需求日益增长，尤其针对灵巧操作任务如物体分拣与放置。该数据集名为openarm_tablewares_sort_click_test，由研究人员Rick0331于近期基于LeRobot框架创建，旨在为开放式机械臂（OpenArm）在餐桌餐具分拣场景中提供标准化训练与测试样本。数据集通过记录7自由度关节角与夹爪位置的动作序列、状态观测及多视角视觉信息（前视与腕部摄像头，分辨率720×1280），支持端到端的机器人操作策略学习。其核心研究问题聚焦于如何利用少量示范实现复杂分拣任务的泛化，是推动家庭服务机器人具身智能应用的重要基准资源。

当前挑战

该数据集所应对的领域挑战在于解决非结构化家庭环境中餐具分拣的精细操作难题，包括不同形状、材质餐具的稳定抓取与精准放置，以及动态环境下的实时决策。构建过程中面临多重困难：首先，确保采集的8维动作空间与高维视觉观测之间的时空对齐精度，避免数据污染；其次，在有限示范下需兼顾任务多样性（如识别易碎物品并调整夹持力），同时维持30帧每秒的高频采样；此外，视频与parquet文件的分布式存储（分别为200MB与100MB）要求高效的数据流水线以支持模型训练。最终，数据集需在零样本跨场景迁移中实现鲁棒性，这对数据质量的系统性验证构成显著挑战。

常用场景

经典使用场景

在具身智能与机器人操作领域，openarm_tablewares_sort_click_test数据集为模仿学习与行为克隆范式提供了高保真的视觉-运动耦合训练素材。该数据集借助LeRobot框架采集，记录了OpenArm机械臂在桌面场景中执行餐具分类与点击任务的完整轨迹，包含8维关节角度与夹爪姿态的动作序列，以及前置与腕部双目高清视频流。研究者可利用这些多模态观测数据训练端到端策略网络，使机器人能够将视觉感知直接映射为精准的关节控制指令，从而在结构化环境中复现人类示范的复杂操作行为。

解决学术问题

该数据集直面机器人学习领域中的数据稀缺与泛化瓶颈两大核心挑战。通过提供标准化、多视角的餐具分拣示范数据，它使得研究者能够系统性地评估不同模仿学习算法在细粒度操作任务上的表现，尤其是面对姿态多变、纹理相似的餐具物体时策略的鲁棒性。此外，该数据集推动了离线强化学习与行为克隆方法在实物机器人上的应用验证，为解决从仿真到真实迁移中的动态域差问题提供了宝贵的实测基准，深刻影响着机器人技能获取范式的演进方向。

衍生相关工作

围绕此数据集，研究者已衍生出多项具有深远影响的学术工作。一方面，基于其高帧率视觉与动作数据，开发了针对欠驱动机械臂的时序注意力模型，有效提升了长程任务中的动作连贯性。另一方面，该数据集成为验证噪声处理与数据增强策略的经典平台，催生了如对抗性扰动下的鲁棒模仿学习框架。此外，跨任务迁移学习方法亦在此数据上得到实证，通过预训练视觉编码器并微调动作头，大幅降低了新技能习得所需的示范数据量，奠定了多任务机器人知识复用的重要基础。