zixinyenu/so100-pick-and-place-80_20260527_222052

该数据集是一个用于机器人学任务的数据集，具体聚焦于抓取和放置操作。它由LeRobot工具创建，包含机器人的动作和观察数据。数据集中，动作数据包括6个关节位置（如肩部平移、肩部提升、肘部弯曲、腕部弯曲、腕部滚动和夹爪位置），观察数据包括机器人的状态（同样为6个关节位置）以及来自三个摄像头（camera1、camera2、camera3）的视频图像，每个视频的分辨率为480x640像素，帧率为30fps，使用AV1编解码器存储。此外，数据集还包含时间戳、帧索引、episode索引、任务索引等元数据。数据集以parquet文件格式组织，总共有20个episodes、8277帧，涉及一个任务，数据文件总大小为100MB，视频文件总大小为200MB。机器人类型为so_follower，适用于训练和评估机器人控制算法，特别是抓取放置任务。This dataset is designed for robotics tasks, specifically focusing on pick-and-place operations. It was created using the LeRobot tool and contains action and observation data from a robot. The action data includes 6 joint positions (such as shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, and gripper positions). The observation data consists of the robots state (also 6 joint positions) and video images from three cameras (camera1, camera2, camera3), each with a resolution of 480x640 pixels, a frame rate of 30fps, and stored using the AV1 codec. Additionally, the dataset includes metadata such as timestamps, frame indices, episode indices, and task indices. The data is organized in parquet file format, with a total of 20 episodes, 8277 frames, and one task. The total data file size is 100MB, and the video file size is 200MB. The robot type is so_follower, making it suitable for training and evaluating robot control algorithms, particularly for pick-and-place tasks.

搜集汇总

数据集介绍

构建方式

so100-pick-and-place-80_20260527_222052数据集由开源机器人学习框架LeRobot构建，专注于机器人抓取与放置任务的模仿学习。该数据集通过操作SO-100型机械臂，以30帧每秒的采样频率采集了20个回合的演示数据，总计包含8277帧状态与动作信息。每个回合记录了6维关节空间的动作指令（包括肩部旋转、肘部屈伸、腕部偏转及夹爪开合）以及对应的观测状态，同时通过三台640×480分辨率的摄像头同步捕获多视角视觉信息。数据以Parquet格式存储结构化的动作与状态序列，视频则以AV1编码压缩存储于独立文件中，整体数据量约300MB，训练集覆盖全部20个回合。

特点

该数据集的核心特色在于其多模态同步采集架构与精细化的机器人操作日志。三台摄像头从不同方位记录视觉流，结合机器人本体的关节位置反馈，形成完整的“观察-动作”闭环数据链。每帧数据均附带时间戳、帧索引、回合索引及任务标签，支持时序建模与回合划分。数据集的视频采用AV1编码，在保持480p分辨率的同时优化存储效率，而Parquet格式则便于高效读取结构化特征。此外，数据严格按照LeRobot的v3.0规范组织，提供统一的元信息描述文件（meta/info.json），确保了跨平台的兼容性与可复现性。

使用方法

研究人员可通过LeRobot库直接加载该数据集，利用其内置的数据加载器按回合或帧索引访问多模态数据。训练模仿学习策略时，可将动作向量作为监督信号，以RGB图像序列和状态向量作为输入，构建端到端的控制模型。数据集预定义了单任务索引，适合用于策略泛化验证或对比不同机器人双相机配置下的行为克隆效果。用户亦可使用Hugging Face Spaces上的可视化工具交互式浏览任意帧的传感器读数与对应操作，便于数据质量审查与算法调试。

背景与挑战

背景概述

该数据集于2026年5月由zixinyenu团队使用LeRobot框架创建，聚焦于SO-100机械臂的抓取与放置任务（pick-and-place）。其核心研究问题在于通过多视角视觉引导（三台640×480摄像头以30帧/秒采集）与六维关节状态、动作序列的同步记录，为模仿学习提供高质量的机器人操作数据。数据集包含20个演示片段，共计8277帧，覆盖从物体抓取到精确放置的完整轨迹。作为开源社区推动低成本机器人数据采集的典型范例，该数据集以Apache-2.0协议发布，有助于降低机器人学习研究的硬件门槛，推动具身智能领域的数据共享与算法验证。

当前挑战

在领域问题层面，数据集着力解决机器人精细操作中的动作泛化与状态估计难题，从单一任务（抓取与放置）的少量演示（20条轨迹）中提取鲁棒的策略模型，面临动作多样性不足与视觉环境差异的挑战。构建过程中，团队需应对多摄像头同步性的精确标定问题，确保关节角度与视觉帧在30帧/秒的高频下严格对齐；此外，SO-100双臂从动机械臂的物理精度有限，采集的力反馈缺失可能导致轨迹复现时抓取失败。数据量较小（100MB结构化数据与200MB视频）也增加了防止过拟合的难度，亟需数据增强或仿真迁移等辅助手段来提升模型的泛化能力。

常用场景

经典使用场景

在机器人操作领域中，so100-pick-and-place-80_20260527_222052数据集专为机械臂的抓取与放置任务而设计，其经典使用场景聚焦于基于视觉与状态信息的模仿学习。该数据集记录了20个完整的操作轨迹，包含来自三台摄像头的高清视频序列以及六自由度关节状态与动作指令，为训练端到端的策略网络提供了丰富且同步的多模态输入。研究者通常利用这些数据构建行为克隆或逆强化学习模型，使机械臂能够从人类演示中习得精准的拾取与放置技能。

衍生相关工作

基于该数据集，研究者已衍生出多项经典工作，包括探索多视角特征融合的策略学习框架以及基于预训练视觉编码器的零样本泛化方法。此外，该数据与LeRobot生态系统的整合催生了用于评估动作与观察间一致性的指标工具，并推动了扩散策略（Diffusion Policy）在机器人控制中的适配与优化。这些工作不仅验证了数据集的有效性，还拓宽了其在多任务学习与仿真到真实场景迁移中的应用边界。

数据集最近研究

最新研究方向

在机器人操作领域，该数据集聚焦于基于视觉的拾取与放置任务，以SO-100系列机器人平台为依托，采集了20个完整的专家演示轨迹，涵盖6自由度的关节位置指令与三视角高清视觉流。当前前沿方向在于利用此等精细化的多模态观测数据，推动模仿学习向高保真建模迈进——通过结合时序动作与视觉观察的强对齐关系，研究者可构建端到端的策略网络，使机器人从演示中习得泛化的操作技能。随着LeRobot生态的普及，此类数据集为非专业开发者提供了低成本复现具身智能研究的可能，加速了从仿真到真实场景的技能迁移，为工业装配、家庭服务等场景下的灵巧操作奠定数据基石。