MooreFoss/so101_task_putinto_20260529_150522

--- license: apache-2.0 task_categories: - robotics tags: - LeRobot configs: - config_name: default data_files: data/*/*.parquet --- This dataset was created using [LeRobot](https://github.com/huggingface/lerobot). <a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=MooreFoss/so101_task_putinto_20260529_150522"> <img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/> <img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/> </a> ## Dataset Description - **Homepage:** [More Information Needed] - **Paper:** [More Information Needed] - **License:** apache-2.0 ## Dataset Structure [meta/info.json](meta/info.json): ```json { "codebase_version": "v3.0", "fps": 15, "features": { "action": { "dtype": "float32", "names": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ], "shape": [ 6 ] }, "observation.state": { "dtype": "float32", "names": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ], "shape": [ 6 ] }, "observation.images.fixed": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 15, "video.channels": 3, "has_audio": false, "video.g": 2, "video.crf": 30, "video.preset": 12, "video.fast_decode": 0, "video.video_backend": "pyav", "video.extra_options": {} } }, "observation.images.handeye": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 15, "video.channels": 3, "has_audio": false, "video.g": 2, "video.crf": 30, "video.preset": 12, "video.fast_decode": 0, "video.video_backend": "pyav", "video.extra_options": {} } }, "timestamp": { "dtype": "float32", "shape": [ 1 ], "names": null }, "frame_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "episode_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "task_index": { "dtype": "int64", "shape": [ 1 ], "names": null } }, "total_episodes": 1, "total_frames": 242, "total_tasks": 1, "chunks_size": 1000, "data_files_size_in_mb": 100, "video_files_size_in_mb": 200, "data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet", "video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4", "robot_type": "so_follower", "splits": { "train": "0:1" } } ``` ## Citation **BibTeX:** ```bibtex [More Information Needed] ```This dataset is a robotics dataset created using the LeRobot tool. It contains a single task (so101_task_putinto) involving robot actions and observations. Features include actions (6 joint positions: shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, gripper position), observation states (same joint positions), observation images (fixed and hand-eye cameras, video format, resolution 480x640, 3 channels, frame rate 15fps), timestamps, frame indices, task indices, etc. The dataset has a total of 1 task, 1 episode, and 242 frames. Data is stored in Parquet file format, videos in MP4 format, with a robot type of follower. The license is Apache-2.0.

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，专为机器人操作任务设计，聚焦于将物体放入容器中的具体场景。数据采集通过so_follower机器人执行，以每秒15帧的频率记录完整的任务执行过程。数据集包含1个独立的episode，总计242帧时序数据，每个时间步均采集了6维关节动作指令（包括肩部、肘部、腕部及夹爪位置）及对应的6维状态观测值。视觉信息由两台固定视角和手眼视角的摄像头同步捕获，生成480×640分辨率的RGB视频流，并采用AV1编码格式压缩存储于独立的MP4文件中。所有结构化数据以Parquet格式分块保存，元数据清单详尽记录了数据版本、特征定义及存储路径，确保了数据的高效存取与复现性。

使用方法

研究者可通过LeRobot库提供的标准化API加载此数据集，实现高效的数据流处理。首先，使用`lerobot.common.datasets`模块中的`load_dataset`函数即可一键读取数据集配置与所有分块文件。加载后，将获取包含动作、观测状态及多视角图像在内的结构化数据字典。针对视觉数据，系统已自动处理AV1编码视频的解码。该数据集默认划分全部数据为训练集，适用于行为克隆、逆强化学习等离线算法。结合`lerobot`内置的评测环境，用户可轻松复现‘放入’任务策略，并基于数据集中完整的episode索引进行分步式训练与验证。

背景与挑战

背景概述

该数据集由MooreFoss研究团队基于LeRobot框架在2026年5月29日创建，专注于机器人操作任务中的“put-into”技能学习。核心研究问题在于如何通过多模态传感数据（包括固定视角和手眼相机的视觉信息以及六自由度关节状态与动作）来训练机器人完成精准的物体放置操作。该数据集以Apache-2.0许可发布，采用15帧每秒的视频采集频率，包含242帧单任务演示数据，为Robotics领域中的模仿学习与行为克隆研究提供了标准化样本。尽管规模较小，但其结构化的特征设计（如关节位置命名与视频编码规范）在推动低成本、可复现的机器人操作研究方面具有探索性价值。

当前挑战

数据集面临的挑战主要源于机器人操作任务的复杂性。领域核心难题在于如何从有限的单任务演示（仅1个episode）中泛化到不同物体形状、夹具姿态和环境光照条件下的放置动作，这要求模型具备对视觉反馈与关节控制的强鲁棒性关联能力。构建过程中，手眼相机与固定相机的空间校准差异带来跨视角特征对齐的困难，同时15Hz的低采样率可能丢失高速运动中的关键交互细节。此外，仅通过6维关节位置描述动作空间难以捕捉夹持器与物体接触时的微细力觉信息，限制了策略对易碎或可变形态物体的适应能力。

常用场景

经典使用场景

在机器人学习与模仿学习领域，so101_task_putinto_20260529_150522数据集为研究“物体放入”这一精细操作任务提供了至关重要的数据支撑。该数据集记录了一台so_follower机械臂在完成将目标物体放入指定容器过程中，由固定视角和手眼视角双路摄像头捕获的视觉信息，以及6维关节状态与动作序列。通过15帧每秒的高频采样，研究者可以借助行为克隆或逆强化学习方法，训练机器人从视觉输入直接映射到动作指令，实现端到端的操作技能习得。这一经典用法使得模型能够理解物体位置、容器边界与抓取姿态之间的复杂空间关系，从而在结构化或半结构化环境中复现精准的放置行为。

解决学术问题

该数据集有效回应了机器人操作研究中长期存在的“长程任务泛化”与“多模态感知融合”两大核心学术挑战。传统工作多聚焦于单一视觉源下的简单抓取，而so101_task_putinto通过提供固定摄像头与手眼摄像头的同步观测，使得研究者能够探索视觉特征如何在不同坐标系下对齐，进而解决因视角变化导致的感知歧义问题。此外，数据集中6自由度动作与状态的紧密耦合，为研究机器人运动规划中的因果推理、时序依赖以及动作平滑性约束提供了真实基准，推动了从实验室模拟环境向真实硬件部署的可迁移性研究。

实际应用

在工业精密装配、仓储物流分拣以及家庭服务等现实场景中，该数据集所定义的“放入”操作具有广泛的应用前景。例如，在电子元件装配线上，机械臂需要将小型零件精准置入卡槽；在智能仓储系统中，机器人需将包裹按规则放入对应货格。借助本数据集训练的模型，企业可以减少人工示教成本，并通过迁移学习快速适应新物体或新容器形状。同时，双摄像头配置也便于在动态干扰环境下保持操作鲁棒性，如部分遮挡或光照变化时，手眼协同信息能提供冗余感知，提升出错的容错能力与任务成功率。

数据集最近研究

最新研究方向

该数据集聚焦于机器人操作任务中的精确放置行为，基于LeRobot框架收集了SO系列机械臂在高帧率（15 FPS）下的状态与视觉数据。当前前沿研究方向围绕模仿学习与基于视觉的运动规划展开，尤其是通过多视角图像（固定相机与手眼相机）联合六维关节状态信息，训练机器人完成高精度的抓取-放置任务。此类数据集在具身智能与机器人自动化领域占据关键地位，其意义在于为少样本模仿学习、跨任务迁移以及实时控制策略的优化提供了标准化基准，推动工业与家庭场景下机器人自主操作能力的跃升。