Bperju/so101_ball_pick_place_20260530_001513

该数据集是一个机器人学数据集，专注于球拾取和放置任务，使用LeRobot创建。数据集包含机器人的动作和观察数据，动作数据涉及6个关节位置：肩部平移、肩部提升、肘部弯曲、手腕弯曲、手腕滚动和夹爪位置。观察数据包括相同的关节位置状态，以及来自顶部和手腕摄像头的视频图像，图像分辨率为480x640，帧率为30fps，采用AV1编解码器。数据集还包含时间戳、帧索引、剧集索引、索引和任务索引等元数据。总共有2个剧集、1320帧和1个任务，数据文件大小为100MB，视频文件大小为200MB。机器人类型为so_follower，数据集适用于训练和评估机器人控制模型。This dataset is a robotics dataset focused on ball pick and place tasks, created using LeRobot. It includes robot action and observation data, with actions involving 6 joint positions: shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, and gripper position. Observations consist of the same joint state data, along with video images from top and wrist cameras, with a resolution of 480x640, 30fps frame rate, and AV1 codec. The dataset also contains metadata such as timestamp, frame index, episode index, index, and task index. There are a total of 2 episodes, 1320 frames, and 1 task, with data file size of 100MB and video file size of 200MB. The robot type is so_follower, and the dataset is suitable for training and evaluating robot control models.

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，专为机器人操作任务设计，聚焦于SO-100机械臂的抓取与放置场景。数据采集过程中，通过遥操作方式记录机械臂六个自由度的关节位置动作序列，并同步采集顶部与腕部两个视角的RGB视频流，分辨率均为640×480像素，帧率为30FPS。所有数据以Parquet格式存储结构化信息，视频则采用AV1编码压缩为MP4文件，最终形成包含2个完整回合、总计1320帧的标准化数据集。

特点

数据集的核心特色在于其多模态对齐特性，同时提供精确的关节状态（包括肩部、肘部、腕部及夹爪的6维位置数据）与双视角视觉观测。顶部摄像头提供全局场景视角，腕部摄像头则捕捉精细操作细节，这种配置为学习空间感知与灵巧操作提供了丰富信息。数据采用LeRobot标准格式组织，包含完整的时序索引和任务标签，支持高效的随机访问与流式加载，特别适合训练模仿学习与强化学习模型。

使用方法

使用该数据集时，推荐通过LeRobot库的Dataset类加载，利用其内置的数据管道自动处理Parquet表格与视频文件的同步读取。用户可根据需求选择仅加载状态信息、单视角图像或完整多模态数据。数据集已预设训练集划分，可直接用于训练端到端操作策略。注意事项包括：视频解码建议使用PyAV后端，并确保环境中安装AV1解码器；由于数据量较小（约300MB），适合作为算法原型验证的基准数据集。

背景与挑战

背景概述

该数据集由研究人员基于LeRobot框架创建，旨在捕捉机械臂执行“抓取与放置”任务的多模态数据。数据集中包含一个名为“so_follower”的机械臂，在30帧/秒的频率下记录6维关节动作指令、机械臂状态，以及顶部和腕部摄像头的高清视觉信息（480×640像素）。该数据集聚焦于机器人在结构化环境中完成特定物体（如小球）的抓取与放置操作，提供了2个完整回合、共计1320帧的时序数据。其发布对于推动机器人模仿学习、行为克隆等研究具有重要意义，为从传感器数据到动作策略的映射提供了标准化训练素材，并促进了基于视触觉融合的机器人操作技能研究。

当前挑战

该数据集面临的挑战主要体现在两个方面。一是领域问题层面，机器人抓取与放置任务要求模型具备从高维视觉输入中提取关键空间信息、并精确映射到关节空间动作的能力，尤其在应对物体形状、位置和光照变化时需保持鲁棒性，当前数据集包含的任务类别单一（仅一个任务），限制了泛化性能的验证。二是构建过程中的挑战，数据采集依赖人工遥操作演示，不仅耗时且难以确保动作轨迹的多样性与最优性，同时数据集的规模（仅2个回合1320帧）较小，对于训练具有强泛化能力的神经网络模型而言可能不足，此外，传感器标定误差、机械臂运动噪声等因素也可能引入数据不一致性，增加后续模型学习的难度。

常用场景

经典使用场景

该数据集聚焦于机械臂‘抓取-放置’这一基础而关键的机器人操控任务，在机器人学领域具有广泛的应用价值。数据集录制了SO-100系列机械臂执行球体拾取与放置动作的完整轨迹，包含来自机械臂6个关节的位置指令（action）以及对应的状态观测（observation.state），此外还提供了顶部和腕部双视角的RGB视频流（observation.images.top及wrist）。这些多模态数据为模仿学习（Imitation Learning）、行为克隆（Behavioral Cloning）和端到端机器人操控算法提供了标准的训练与验证基准。研究者可以基于此数据集对机器人运动规划的准确性、多视角感知的融合能力以及任务完成的鲁棒性进行系统性评估，进而推动机器人从简单重复操作向复杂环境自适应执行演进。

解决学术问题

在学术层面，该数据集直击机器人操控领域中‘如何从人类示教中高效泛化学习’这一核心难题。传统方法多依赖手工设计的运动学模型与规则，泛化能力有限；而借助该数据集，研究者可以探索基于深度神经网络的运动生成模型，通过输入观测图像与状态信息，利用行动序列进行监督训练，从而减少对精确物理建模的依赖。该数据集特别有助于研究多视角感知对抓取定位和空间推理能力的影响，以及机械臂关节空间的潜在表示学习。其标准化格式与LeRobot框架的集成，也为跨实验室的结果复现与公平对比奠定了基础，推动了数据驱动机器人操控方法在学术界的共识与进步。

衍生相关工作

该数据集的发布与LeRobot社区紧密结合，为机器人学习领域催生了多项衍生工作。基于此数据格式与内容，研究者可以复现和拓展诸如扩散策略（Diffusion Policy）、行为Transformer（Behavior Transformer, BC-Z）以及基于视觉的模仿学习模型（如ACT、3D Diffuser-Actor）等前沿工作。同时，该数据集可作为多轮训练（multi-episodic training）和域随机化的基准，用于评估在有限示教样本下模型的零样本迁移能力。此外，数据集中包含的顶部固定视角与腕部动态视角为多模态融合研究提供了理想的数据源，激励了诸如跨视角特征对齐、注意力机制的视觉运动融合等创新研究方向。