stack-cup

该数据集是一个用于机器人控制任务的数据集，专门针对双臂机器人（型号so101_dual_follower）设计。它包含30个episodes，总计17961帧数据，以30fps的帧率记录。数据特征包括机器人的动作（12维浮点数组，控制左右臂的关节位置和夹爪位置）和观察值。观察值包括机器人的状态（12维浮点数组，表示关节位置）以及多个摄像头视频流：顶部RealSense彩色摄像头、顶部RealSense深度摄像头、顶部网络摄像头、右腕摄像头和左腕摄像头。所有视频的分辨率为480x640，3通道，使用AV1编码。数据集以parquet文件格式存储，视频以mp4格式存储，适用于机器人学习、模仿学习或强化学习任务。数据集使用Apache 2.0许可证。

This dataset is designed for robot control tasks, specifically for a dual-arm robot (model so101_dual_follower). It contains 30 episodes, totaling 17961 frames recorded at 30fps. The data features include robot actions (a 12-dimensional floating-point array controlling joint positions and gripper positions for both arms) and observations. Observations consist of the robot state (a 12-dimensional floating-point array representing joint positions) and multiple camera video streams: a top RealSense color camera, a top RealSense depth camera, a top webcam, a right wrist camera, and a left wrist camera. All videos have a resolution of 480x640, 3 channels, and use AV1 encoding. The dataset is stored in parquet file format, with videos in mp4 format, suitable for robot learning, imitation learning, or reinforcement learning tasks. The dataset is licensed under Apache 2.0.

原始信息汇总

数据集概览：stack-cup

• 数据集名称：stack-cup
• 来源：基于 LeRobot 创建
• 许可证：Apache-2.0
• 任务类别：机器人学 (Robotics)
• 标签：LeRobot, so101, dual-arm
• 总集数：30 episodes
• 总帧数：17961 帧
• 总任务数：1 个任务

数据集结构

该数据集包含以下特征，均为浮点或整数类型，以及视频数据：

特征名称	数据类型	形状	说明
action	float32	(12,)	12维动作向量，包括左右双臂的肩、肘、腕、夹爪位置
observation.state	float32	(12,)	12维状态向量，与动作空间一致
observation.images.top_realsense_color	video	(480, 640, 3)	顶部RealSense彩色图像，AV1编码，30fps
observation.images.top_realsense_depth	video	(480, 640, 3)	顶部RealSense深度图像，AV1编码，30fps
observation.images.top_webcam	video	(480, 640, 3)	顶部网络摄像头图像，AV1编码，30fps
observation.images.wrist_right	video	(480, 640, 3)	右侧腕部摄像头图像，AV1编码，30fps
observation.images.wrist_left	video	(480, 640, 3)	左侧腕部摄像头图像，AV1编码，30fps
timestamp	float32	(1,)	时间戳
frame_index	int64	(1,)	帧索引
episode_index	int64	(1,)	集数索引
index	int64	(1,)	全局索引
task_index	int64	(1,)	任务索引

动作与状态空间

• 动作与状态维度：12维，分别对应右臂和左臂的6个自由度：
  • right_shoulder_pan.pos, right_shoulder_lift.pos, right_elbow_flex.pos, right_wrist_flex.pos, right_wrist_roll.pos, right_gripper.pos
  • left_shoulder_pan.pos, left_shoulder_lift.pos, left_elbow_flex.pos, left_wrist_flex.pos, left_wrist_roll.pos, left_gripper.pos

数据文件

• 数据格式：Parquet 文件，位于 data/*/*.parquet
• 视频文件：MP4 格式，位于 videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4
• 数据总量：约 100 MB（Parquet），200 MB（视频）
• 分割：所有30个集数均用于训练（train: 0:30）
• 机器人类型：so101_dual_follower（双臂机器人）

可视化

可通过 LeRobot 数据集可视化工具 在线浏览数据。