so101_cube_pick_and_place_v3_combined

该数据集由LeRobot项目创建，专注于机器人控制任务，具体涉及立方体的拾取与放置操作。数据集包含27966帧数据，组织为100个episodes和1个任务。数据以.parquet文件格式存储，并附有对应的MP4视频文件，总数据量约300MB。每个样本包含机器人的动作指令（6维关节位置：肩部平移/升降、肘部弯曲、腕部弯曲/旋转、夹爪位置）、观测状态（与动作相同的6维关节位置）、两个视角的视觉观测（顶部和腕部摄像头，分辨率480x640、30fps、AV1编码的RGB视频），以及时间戳、帧索引、episode索引等元数据。数据集适用于机器人模仿学习、视觉运动控制等任务，采用Apache-2.0许可证。This dataset is created by the LeRobot project, focusing on robot control tasks, specifically involving pick-and-place operations of cubes. It contains 27,966 frames of data, organized into 100 episodes and 1 task. The data is stored in .parquet file format and comes with corresponding MP4 video files, totaling approximately 300MB. Each sample includes robot action commands (6-dimensional joint positions: shoulder translation/lift, elbow bend, wrist bend/rotation, gripper position), observation states (same 6-dimensional joint positions as actions), visual observations from two perspectives (top and wrist cameras, with 480x640 resolution, 30fps, AV1-encoded RGB video), as well as metadata such as timestamps, frame indices, and episode indices. The dataset is suitable for tasks like robot imitation learning and visual-motor control, and it is licensed under Apache-2.0.

原始信息汇总

数据集概述

• 数据集名称: so101_cube_pick_and_place_v3_combined
• 许可证: Apache-2.0
• 任务类别: 机器人学 (Robotics)
• 标签: LeRobot
• 创建工具: 该数据集使用 LeRobot 创建。

数据集结构

• 总集数 (Total Episodes): 100
• 总帧数 (Total Frames): 27,966
• 总任务数 (Total Tasks): 1
• 机器人类型: so_follower
• 帧率 (FPS): 30

数据特征

特征名	数据类型	形状	说明
action	float32	[6]	动作空间，包含6个关节位置指令：shoulder_pan, shoulder_lift, elbow_flex, wrist_flex, wrist_roll, gripper
observation.state	float32	[6]	观察状态，与动作空间维度一致，包含6个关节位置
observation.images.top	video	[480, 640, 3]	顶部摄像头图像，分辨率480x640，RGB三通道，AV1编码，30fps
observation.images.wrist	video	[480, 640, 3]	腕部摄像头图像，分辨率480x640，RGB三通道，AV1编码，30fps
timestamp	float32	[1]	时间戳
frame_index	int64	[1]	帧索引
episode_index	int64	[1]	集数索引
index	int64	[1]	全局索引
task_index	int64	[1]	任务索引

数据文件

• 数据文件格式: Parquet (data/*/*.parquet)
• 数据文件大小: 100 MB
• 视频文件大小: 200 MB
• 分割: 训练集 (train) 占比 0:100（即全部100集用于训练）
• 数据路径模式: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频路径模式: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

视觉化工具

该数据集可通过 LeRobot 可视化空间 进行在线查看。

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，通过实际机器人操作场景采集而成。数据来源于so_follower型机器人执行立方体抓取与放置任务的全过程，共计100个独立片段（episodes），包含27,966帧数据。数据以Parquet格式存储，并配以AV1编码的俯视与腕部双视角视频流（640×480分辨率，30 FPS）。每个时间步记录6维关节空间动作（肩部、肘部、腕部及夹爪位置）与对应观测状态，同步存储时间戳、帧索引及任务标签，形成完整的机器人操作轨迹序列。

特点

数据集的核心特色在于其多模态融合的稀疏采样架构：动作与状态共享6维关节空间表示，便于端到端策略学习；双视角视觉输入（固定顶视与随动腕部）提供了全局场景感知与局部精细操作的双重信息流。100个片段均聚焦于单一抓取放置任务，保证了任务一致性。数据以分块（chunk）形式组织，每块含1000帧，便于分批次加载与内存管理。视频与表格数据分离存储，兼顾了高密度视觉信息与结构化轨迹数据的存取效率。

使用方法

用户可借助LeRobot库中的可视化工具（HuggingFace Spaces）直接预览数据集内容。使用时需通过LeRobot的Dataset API加载，指定default配置即可自动读取所有Parquet文件。建议将数据按8:2比例划分为训练与验证集（原始设置为全部100片段用于训练）。训练过程中，可灵活提取action序列作为策略输出目标，以observation.state作为状态输入，并利用双视角图像进行视觉强化学习。视频数据需解码为张量格式，推荐使用PyTorch Video或OpenCV的AV1解码器进行预处理。

背景与挑战

背景概述

在机器人操作领域，模仿学习通过从专家演示中学习策略，已成为推动自主操作能力发展的关键范式。so101_cube_pick_and_place_v3_combined数据集由Itaivan团队基于LeRobot框架创建，聚焦于利用SO-100双臂协作机器人执行立方体抓取与放置任务。该数据集于近期发布，包含100个演示回合、约2.8万帧时序数据，并融合了顶部与腕部双视角视觉观测及六自由度关节状态信息，旨在为机器人精细操作策略研究提供标准化训练基准。其构建依托Apache-2.0开源协议，降低了机器人学习研究的门槛，对推动从仿真到真实场景的迁移学习、多视角融合策略以及双臂协调控制等研究方向具有重要参考价值。

当前挑战

该数据集所应对的核心领域挑战在于如何实现机器人对刚体对象的精确抓取与稳定放置，这要求算法在高维连续动作空间中学习鲁棒的多模态感知-运动映射。具体构建过程中，面临的技术难点包括：双视角摄像头（顶部与腕部）的同步标定与视觉遮挡处理，确保时序数据中图像与关节状态的精确对齐；SO-100机器人灵巧手在抓取不同姿态立方体时的力控与防滑策略规划；以及如何在有限的100个演示回合内获取足够覆盖对象位置与姿态多样性的示范数据，以避免策略过拟合于特定初始条件。此外，视频数据采用AV1编码压缩，在降低存储开销的同时需平衡解码效率，对端到端学习流水线的实时性提出了额外约束。

常用场景

经典使用场景

so101_cube_pick_and_place_v3_combined数据集在机器人操作学习领域扮演着不可替代的角色，其核心应用场景聚焦于模仿学习与强化学习的范式探索。通过精心采集的100个演示回合，每回合以30帧每秒的频率记录六自由度机械臂从肩关节到夹爪的精确运动序列，并辅以顶置及腕部双视角的高清视觉流，这一配置使其成为训练机器人完成方块抓取与放置（pick-and-place）任务的理想基准。研究者能够借助该数据集驱动行为克隆、逆强化学习或离策略的深度Q网络等方法，在无需手工设计奖励函数的前提下，让机械臂习得灵巧且鲁棒的物体操纵策略，为端到端机器人技能获取提供了标准化的数据支撑。

实际应用

实际部署层面，该数据集为工业自动化与服务业机器人提供了低成本的研究起点。基于其训练出的策略可直接迁移至类似构型的协作机械臂上，在电子元件分拣、餐厅备餐或实验室样品转移等狭窄空间操作中展现高精度。顶置相机赋予的全局视野结合腕部局部详图，使得模型能自然适应光照变化与物体位姿漂移，从而减少工厂维护与编程的人力成本。更深远地，该数据集体现的'录制-复现'模式正被原型化于智能仓储系统，让非专业用户通过演示教会机器人新任务，缩短了从实验室到生产线的技术转化周期。

衍生相关工作

围绕该数据集，学界已衍生出一系列里程碑式工作。例如，基于其视觉-动作时序结构，研究者提出了'LeRobot'框架内的扩散策略（Diffusion Policy），将数据重新编码为条件去噪扩散过程，显著提升了多模态动作分布的表达力；另一条线聚焦于数据增强，如添加随机背景合成或夹爪仿真扰动，衍生出'场景不变性'与'因果掩蔽'等训练范式。在机器人基础模型（Robot Foundation Model）的浪潮中，so101_cube_pick_and_place_v3_combined常被选为微调基准，用以验证预训练视觉编码器在低资源操作任务上的迁移潜力。这些工作共同构建了从数据到策略、从静态演示到动态适应的知识演化链，持续拓宽机器人学习的前沿边界。