kunhsiang/eval_exp9_sc4var_put_the_box_on_the_plate_20260527-152814

--- license: apache-2.0 task_categories: - robotics tags: - LeRobot configs: - config_name: default data_files: data/*/*.parquet --- This dataset was created using [LeRobot](https://github.com/huggingface/lerobot). <a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=kunhsiang/eval_exp9_sc4var_put_the_box_on_the_plate_20260527-152814"> <img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/> <img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/> </a> ## Dataset Description - **Homepage:** [More Information Needed] - **Paper:** [More Information Needed] - **License:** apache-2.0 ## Dataset Structure [meta/info.json](meta/info.json): ```json { "codebase_version": "v3.0", "robot_type": "so_follower", "total_episodes": 1, "total_frames": 2251, "total_tasks": 1, "chunks_size": 1000, "data_files_size_in_mb": 100, "video_files_size_in_mb": 200, "fps": 30, "splits": { "train": "0:1" }, "data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet", "video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4", "features": { "action": { "dtype": "float32", "names": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ], "shape": [ 6 ] }, "observation.state": { "dtype": "float32", "names": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ], "shape": [ 6 ] }, "observation.images.front": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false } }, "observation.images.top": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false } }, "observation.images.gripper": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false } }, "timestamp": { "dtype": "float32", "shape": [ 1 ], "names": null }, "frame_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "episode_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "task_index": { "dtype": "int64", "shape": [ 1 ], "names": null } } } ``` ## Citation **BibTeX:** ```bibtex [More Information Needed] ```This dataset was created using LeRobot and focuses on robotics, specifically for the task of putting the box on the plate. It contains 1 total episode with 2251 frames at 30 fps. The data is stored in parquet format and includes action data (e.g., shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, and gripper positions), observation states (joint positions matching actions), and multi-view image observations: front, top, and gripper cameras, each with video resolution of 480x640, 3 channels, using AV1 codec. Additionally, metadata such as timestamp, frame index, and episode index are provided. The total data file size is 100MB, and video files size is 200MB, suitable for research and training in robot control and vision tasks.

搜集汇总

数据集介绍

构建方式

在机器人学习领域，高质量的操作数据集是训练策略模型的基础。该数据集依托LeRobot框架构建，以so_follower机械臂为采集平台，记录了一次完整的“将盒子置于盘上”任务演示。整个采集过程以30帧每秒的速率同步获取前视、顶视与夹爪三路视觉观测，并以六维关节位置序列记录动作与状态，最终生成单回合、2251帧的轨迹数据。数据经LeRobot标准化流程整理，存储于按块划分的parquet文件中，配套视频以AV1编码保存，形成结构规整、即取即用的机器人操作数据集。

使用方法

该数据集可直接通过LeRobot生态进行加载与解析，用户可借助HuggingFace Hub上的可视化工具在线浏览轨迹与视频，快速核验数据质量。在训练或评估时，可利用meta/info.json中定义的特征结构读取parquet中的动作、状态与时间戳，并关联对应的视频帧；数据划分标记为train，覆盖0至1号回合。开发者亦可基于LeRobot提供的接口将数据转换为常见格式，用于模仿学习或离线强化学习算法的训练与验证，尤其适合需要多视角视觉输入的机器人操作策略研究。

背景与挑战

背景概述

在机器人学习与具身智能领域，操作任务的泛化性始终是核心议题。eval_exp9_sc4var_put_the_box_on_the_plate_20260527-152814数据集依托LeRobot框架构建，聚焦于"将盒子置于盘子之上"这一典型桌面操作任务。尽管该数据集的具体创建机构与论文信息尚未公开，但其任务设计反映了当前机器人模仿学习中对场景变化鲁棒性的关注。数据集提供单次演示轨迹，包含前视、顶视与夹爪视角的多模态视觉观测，以及机械臂关节位置与动作序列，为研究少样本条件下的操作策略学习提供了基准，对推动低成本机器人平台的技能迁移具有参考价值。

当前挑战

该数据集所应对的领域问题在于机器人对变化场景的适应能力——传统方法常因物体位置、姿态或环境光照的微小变化而失效，如何从单次演示中提取可泛化的操作策略是核心难点。构建过程中面临的挑战包括：单次演示仅含2251帧，数据规模极为有限，难以支撑高容量模型的训练；多视角视频流与关节状态的时空对齐需要精确同步；任务命名中的"sc4var"暗示场景变化因素，但未在元数据中具体说明变化维度，导致评估条件不明确；此外，仅一个回合的数据无法划分训练与验证集，对模型评估的可靠性构成限制。这些因素共同制约了该数据集在复杂操作任务中的直接应用。

常用场景

经典使用场景

在机器人学习与具身智能领域，该数据集依托LeRobot框架构建，承载了单一回合、2251帧的视觉-动作序列，涵盖前视、俯视与夹爪三路视频流以及六自由度关节位置与夹爪开合状态，最经典的使用场景在于以行为克隆方式训练机械臂执行“将盒子置于盘子之上”这一精细操作，模型通过观察多视角图像与对应动作标签的时序对齐，学习从原始像素到连续控制指令的映射关系，从而在仿真或真实环境中复现抓取与放置的完整技能。

解决学术问题

该数据集所解决的核心学术问题聚焦于视觉引导的机器人操作策略学习，尤其是在有限示范样本下如何实现空间关系推理与接触丰富的操作任务。它回应了模仿学习中分布偏移、多模态感知融合以及动作序列泛化等挑战，为验证端到端策略网络在结构化桌面环境中的有效性提供了基准。其意义在于以轻量级单任务形式揭示视觉表征质量对操作成功率的影响，推动数据高效学习与鲁棒控制研究的发展。

实际应用

在实际应用层面，该数据集可服务于仓储物流中的物品分拣与上架、家庭服务机器人对桌面杂物的整理归位，以及工业装配线上零件定位与放置等场景。通过微调或迁移学习，基于该数据训练的策略能够适配不同形态的协作机械臂，在非结构化环境中完成目标物体的抓取与精准放置，降低人工示教成本，并为构建通用操作技能库提供可复用的数据基础。

数据集最近研究

最新研究方向

在具身智能与机器人操作学习领域，该数据集聚焦于语言条件化的桌面物体抓取与放置任务，其单回合、多视角（前视、俯视及夹爪视角）的同步视觉-动作流为视觉-语言-动作（VLA）模型的端到端策略学习提供了真实机械臂的细粒度示教轨迹。当前前沿研究借助此类高频率、多模态数据探索模仿学习与扩散策略在空间泛化任务中的鲁棒性，并致力于将任务描述的自然语言指令与连续动作序列进行跨模态对齐。该数据集关联的热点在于以LeRobot生态推动的标准化数据格式，促进了社区在开放数据集上的可复现比较，对提升机器人在非结构化环境中的物体操作能力具有基础性意义，亦为具身基础模型的预训练与微调提供了关键素材。