so101_cube_pick_place_2cam_ws_0625

so101_cube_pick_place_0514 是一个用于机器人学习的示范数据集，专门针对方块拾取与放置任务。该数据集使用LeRobot框架创建，包含机器人执行单一任务（方块拾取放置）的交互数据。数据规模方面，数据集共包含101个完整的情节（episodes），总计184,117帧数据。数据文件总大小约为100MB，关联的视频文件总大小约为200MB。数据以分块形式组织，每个数据块包含1000帧，存储为Parquet格式；视频则以MP4格式存储，帧率为30fps。数据划分上，所有101个情节均用于训练。数据内容包含多模态信息：动作空间为6维浮点数组，对应机器人肩部平移、肩部抬升、肘部弯曲、腕部弯曲、腕部旋转和夹爪的位置控制。观测空间包含两部分：一是与动作空间维度相同的机器人关节状态（6维浮点数）；二是两个相机视角的图像观测——腕部相机和侧面相机，均提供480x640分辨率、3通道（RGB）的视频流。此外，数据还包含时间戳、帧索引、情节索引、全局索引和任务索引等元数据字段。该数据集适用于机器人模仿学习、强化学习、行为克隆以及视觉-动作策略学习等任务，尤其专注于机械臂操作场景下的拾取放置技能学习。

so101_cube_pick_place_0514 is a demonstration dataset for robot learning, specifically designed for cube pick-and-place tasks. It is created using the LeRobot framework and contains interaction data of robots performing a single task (cube pick-and-place). In terms of data scale, the dataset includes 101 complete episodes, totaling 184,117 frames. The total size of the data files is approximately 100MB, with associated video files totaling about 200MB. The data is organized in chunks, with each chunk containing 1,000 frames stored in Parquet format; videos are stored in MP4 format with a frame rate of 30fps. For data partitioning, all 101 episodes are used for training. The data content includes multimodal information: the action space is a 6-dimensional floating-point array corresponding to robot shoulder translation, shoulder lift, elbow bend, wrist bend, wrist rotation, and gripper position control. The observation space consists of two parts: one is the robot joint state (6-dimensional floating-point numbers) with the same dimensions as the action space; the other is image observations from two camera perspectives—a wrist camera and a side camera, both providing 480x640 resolution, 3-channel (RGB) video streams. Additionally, the data includes metadata fields such as timestamps, frame indices, episode indices, global indices, and task indices. This dataset is suitable for tasks such as robot imitation learning, reinforcement learning, behavior cloning, and vision-action policy learning, with a particular focus on pick-and-place skill learning in robotic arm manipulation scenarios.

原始信息汇总

数据集概述

• 数据集名称：so101_cube_pick_place_2cam_ws_0625
• 任务类别：机器人技术 (robotics)
• 许可协议：Apache-2.0
• 创建工具：LeRobot
• 总片段数 (episodes)：101
• 总帧数 (frames)：184,117
• 总任务数 (tasks)：1
• 帧率 (fps)：30
• 数据文件大小：100 MB
• 视频文件大小：200 MB
• 训练集划分：所有片段（0:101）均用于训练

数据结构

数据集以 Parquet 文件存储数据，以 MP4 文件存储视频，组织方式如下：

• 数据路径：data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet（每组最大 1000 帧）
• 视频路径：videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

特征 (Features)

特征名称	数据类型	形状	说明
action	float32	(6,)	动作指令，包含6个关节位置：shoulder_pan, shoulder_lift, elbow_flex, wrist_flex, wrist_roll, gripper
observation.state	float32	(6,)	观察状态，与动作维度一致，反映机器人当前关节位置
observation.images.wrist	video	(480, 640, 3)	腕部摄像头视频，分辨率480×640，AV1编码，30 fps
observation.images.side	video	(480, 640, 3)	侧方摄像头视频，分辨率480×640，AV1编码，30 fps
timestamp	float32	(1,)	时间戳
frame_index	int64	(1,)	帧索引
episode_index	int64	(1,)	片段索引
index	int64	(1,)	全局索引
task_index	int64	(1,)	任务索引

机器人类型

• 机器人型号：so_follower
• 动作/状态空间维度：6（包含肩部、肘部、腕部及夹爪的关节位置）

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，旨在为机器人操作任务提供高质量的仿真训练数据。数据采集场景聚焦于立方体的抓取与放置操作，由SO系列机械臂（so_follower）在双摄像头（腕部与侧方）的视觉监测下完成。数据集共包含101个完整回合（episode），总计184,117帧，帧率为30 FPS。每个回合记录的动作与观测状态均包含6个自由度（关节位置与夹爪状态），并以Parquet格式存储为chunk-xxx的独立文件，同时双摄像头视频流被编码为AV1格式的MP4文件，实现了结构化的高密度数据组织。

使用方法

使用者可通过HuggingFace的LeRobot可视化工具对数据集进行预览，或基于JSON元信息中的文件路径规则直接加载。Parquet格式支持Python生态中的Pandas、PyArrow等库高效读取，而AV1视频可通过OpenCV或PyAV进行解码。推荐在模仿学习或行为克隆任务中，将动作与状态序列作为监督信号，双视角图像作为视觉输入，使用潜空间对齐或时序建模方法进行训练。由于数据集已按chunk分块，开发者可设计Streaming模式以支持大规模训练的连续数据馈送。

背景与挑战

背景概述

在机器人操作任务中，精细化抓取与放置（pick-and-place）是衡量机械臂灵巧操作能力的基础性课题。so101_cube_pick_place_2cam_ws_0625数据集由Chaenn团队于近期基于LeRobot框架创建，旨在为六自由度跟随型机器人（so_follower）提供标准化的方块抓取与放置操作数据。该数据集包含101个示范轨迹，共计184,117帧图像，涵盖30帧每秒的侧方与腕部双视角视觉观测及六维关节角度动作序列，为模仿学习与行为克隆算法提供了高保真的训练素材。其研究核心在于解决单一任务下多模态感知与动作协同的表示学习问题，对于推动机器人从示教到自主操作的能力迁移具有重要参考价值。

当前挑战

该数据集所解决的领域挑战聚焦于机器人精细化操作任务中的策略泛化与感知鲁棒性。在单一方块抓取放置场景下，机械臂需克服关节空间到任务空间的非线性映射难题，以及双摄像头视点差异引发的特征对齐困难。从数据构建角度而言，挑战体现在三个方面：其一，106维的原始观测空间（含双路视频与6维状态）需压缩为简洁的动作表征，避免维度灾难；其二，101个示范轨迹虽提供了基础多样性，但任务单一且总数有限，难以覆盖光照变化、方块位姿差异及碰撞扰动等真实工况；其三，以30帧每秒的高频采样虽保留了操作细节，却对存储与训练效率提出了更高要求，如何在有限数据量下提取出鲁棒的策略成为关键瓶颈。

常用场景

经典使用场景

在机器人操作学习领域，so101_cube_pick_place_2cam_ws_0625数据集凭借其精心设计的机械臂抓取与放置任务，成为模仿学习与行为克隆研究的标杆性资源。该数据集收录了101条完整演示回合，包含超过18万帧时序数据，通过腕部与侧方双摄像头同步记录640×480分辨率的高清视觉流，并同步采集六自由度关节位置与夹爪状态。研究者可借助此数据集训练策略网络，使机器人从观测状态与视觉输入中直接映射连续动作指令，从而复现人类演示的抓取与放置操作。其基于LeRobot框架的结构化存储方式（Parquet时序数据与AV1编码视频）极大降低了数据加载与预处理门槛，为端到端学习范式提供了可直接使用的标准化训练素材。

解决学术问题

该数据集精准聚焦于机器人精细抓取与空间位姿调控这一核心学术难题，解决了传统研究方法中演示数据采集成本高昂、动作标注不精确的痛点。通过提供高一致性、多视角视觉与关节状态的同步记录，它使得研究人员能够系统性地探索闭环控制策略下的泛化能力——例如在目标物体位置偏移、光照变化或被遮挡等复杂工况下，验证策略网络的鲁棒性。该资源的公开显著推进了关于隐式姿态估计、多模态融合以及从示范中学习最优操作轨迹的理论研究，为构建自主完成结构化操作任务的智能体奠定了数据基础。

实际应用

在工业与服务业自动化场景中，该数据集可直接驱动机械臂在非结构化环境中执行精准的取放作业。例如，生产线上随机来料的智能分拣、仓储系统的自主货物搬运，乃至家庭服务机器人对特定物品的抓取与归位。基于该数据集训练获得的策略模型，能够利用双摄像头产生的立体视觉信息克服单一视角下的遮挡问题，实时调整关节角度以完成对立方体等几何对象的稳定夹持与定向放置。这为机器人在实际应用中降低对精确预编程的依赖、提升对动态环境的自适应能力提供了高效且成本可接受的解决方案。

数据集最近研究

最新研究方向

该数据集聚焦于基于视觉的机器人灵巧操作任务，特别是六自由度机械臂在双臂相机感知下的立方体抓取与放置作业。在具身智能与模仿学习蓬勃发展的当下，该数据集通过LeRobot框架采集，提供了101个高质量演示片段，囊括了肩部、肘部、腕部等多关节动作序列以及腕部和侧方双视角视频流。这些多模态数据为端到端策略学习、行为克隆以及视觉-运动联合建模等前沿方向提供了关键的训练素材。其标准化结构与Apache-2.0许可协议，亦为开源社区复现与拓展相关研究、推动机器人操作技能从仿真向真实环境迁移提供了重要支撑。