pick1_jenga1_v1

该数据集是一个使用LeRobot工具创建的机器人操作数据集，包含51个完整操作序列（episodes），总计15,300帧数据，采用30fps的采样率。数据以parquet格式存储，总数据量约100MB，同时包含约200MB的视频文件。数据集仅提供训练集划分。数据特征包括：机器人动作指令（6个关节位置：肩部平移、肩部升降、肘部弯曲、腕部弯曲、腕部旋转、夹爪位置）；观测状态（与动作相同的6个关节位置）；前视摄像头图像观测（480×640分辨率，3通道RGB视频）；以及时间戳、帧索引、序列索引等元数据。机器人类型为so_follower。数据集适用于机器人模仿学习、强化学习、行为克隆等任务的研究与开发。

This dataset is created using the LeRobot tool and is a robot manipulation dataset. It contains 51 complete operation episodes, totaling 15,300 frames with a sampling rate of 30fps. The data is stored in parquet format, with a total data volume of approximately 100MB, and includes about 200MB of video files. The dataset only provides a training set split. Data features include: robot action commands (6 joint positions: shoulder translation, shoulder lift, elbow bend, wrist bend, wrist rotation, gripper position); observation states (the same 6 joint positions as actions); front-view camera image observations (480×640 resolution, 3-channel RGB video); and metadata such as timestamps, frame indices, and episode indices. The robot type is so_follower. The dataset is suitable for research and development in tasks such as robot imitation learning, reinforcement learning, and behavior cloning.

原始信息汇总

数据集概述

• 名称: pick1_jenga1_v1
• 许可协议: Apache-2.0
• 任务类别: 机器人学 (robotics)
• 标签: LeRobot

数据集构成

• 总片段数 (Episodes): 51
• 总帧数 (Frames): 15,300
• 总任务数: 1
• 帧率 (FPS): 30
• 数据文件大小: 约 100 MB
• 视频文件大小: 约 200 MB
• 分块大小 (Chunk Size): 1,000

数据划分

• 训练集: 全部 51 个片段 (splits: "train": "0:51")

机器人类型

• 机器人: so_follower

特征空间

特征名称	数据类型	形状	说明
action	float32	[6]	6 维动作，包含肩部、肘部、腕部及夹爪位置
observation.state	float32	[6]	6 维状态 (与动作维度一致)，包含各关节位置
observation.images.front	video (av1 编码)	[480, 640, 3]	前置摄像头视频，分辨率 480x640，3 通道彩色，30 FPS
timestamp	float32	[1]	时间戳
frame_index	int64	[1]	帧索引
episode_index	int64	[1]	片段索引
index	int64	[1]	全局索引
task_index	int64	[1]	任务索引

数据路径

• 数据文件: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

创建工具

• 使用 LeRobot 创建

搜集汇总

数据集介绍

构建方式

该数据集依托于LeRobot框架构建，专为机器人操控任务设计，聚焦于“拾取Jenga木块”这一精细化操作场景。数据采集采用so_follower机器人平台，共计收录51个完整演示回合，涵盖15300帧时序数据，以30帧/秒的采样频率记录。数据文件采用分块存储策略，每块容量为1000帧，通过Parquet格式高效管理结构化信息，同时将视觉观测以AV1编码的MP4视频形式独立保存，实现了动作序列与视觉流的高效整合。

特点

数据集的核心特点在于其多模态融合的精细结构。动作与状态空间均包含6维关节控制信息，涵盖肩部、肘部、腕部及夹爪的自由度，为模仿学习提供了精准的运动学参考。视觉输入来自前方摄像头，分辨率达480×640，色彩通道完整，且以高压缩比的AV1格式记录，兼顾了画质与存储效率。所有时序数据均被严格同步，并附有时间戳、帧索引及任务标签，确保了数据的一致性与可复现性。

使用方法

该数据集可直接通过LeRobot库进行加载与处理，支持将数据拆分后的训练集（共51个episode）无缝接入模仿学习或强化学习流程。用户可通过HuggingFace Spaces提供的可视化工具直观预览数据内容。使用时，需依据info.json中定义的Parquet与视频路径结构来定位文件，并利用features字段指导模型输入输出的维度映射。建议结合LeRobot的标准化接口进行数据预处理与特征抽取，以加速研究迭代。

背景与挑战

背景概述

在机器人操作领域，精准的抓取与放置任务一直是自动化研究的核心挑战之一。pick1_jenga1_v1数据集由研究机构或个人研究者koki01001于近期创建，依托LeRobot框架进行数据采集与标准化处理，聚焦于单任务学习场景——机器人从Jenga积木堆中执行一次抓取操作。该数据集包含51个演示片段，共计15300帧，以30帧/秒的帧率记录，由SO_Follower机器人在固定环境下完成。尽管规模有限，但针对精细操作任务的动态数据，为模仿学习与离线强化学习提供了宝贵的基础资源，尤其在高频控制信号与视觉-状态联合建模方面具有示范意义，推动了机器人学习中数据标准化与可复现性的进步。

当前挑战

该数据集所解决的领域问题在于机器人精细抓取任务中感知与控制的同步挑战，尤其是从复杂堆叠结构的积木中准确选取单一目标而不扰动其余物体，对动作精度与视觉反馈的实时融合提出严苛要求。构建过程中，数据集面临的主要挑战包括：1）在仅有51个演示片段的有限样本下，确保动作空间（6自由度关节控制）与图像观测（640×480分辨率）的时空对齐精度；2）使用单目前端相机捕获的多视角信息存在遮挡与深度模糊，增加了环境感知的歧义性；3）数据采集时机器人重复执行一致动作的物理变异性，以及LeRobot框架内parquet与视频文件高效存储格式的工程化整合，均对数据质量与扩展性构成考验。

常用场景

经典使用场景

在机器人操作与灵巧抓取研究领域，数据集是驱动算法演进的基石。pick1_jenga1_v1数据集专为精细化的单物抓取与堆叠任务设计，其经典使用场景聚焦于基于视觉的机器人抓取策略学习。研究者可借助该数据集中的高保真前方图像流与6维关节动作序列，训练机器人模仿人类操作，实现从静态物体识别到动态抓取与放置的完整行为克隆。得益于其30帧每秒的流畅采样频率与51个完整演示回合，该数据集为验证模仿学习算法在复杂物体操控中的鲁棒性和泛化能力提供了标准化基准。

衍生相关工作

该数据集的发布催生了一系列具有影响力的学术工作。其标准化的数据格式与开源协议，使得研究人员得以在LeRobot框架内开展跨数据集的模型迁移研究，例如将pick1_jenga1_v1与其他机器人数据集联合训练以提升模型的零样本泛化能力。此外，基于该数据集的动作分块思想启发了针对细粒度操作任务的时序注意力机制设计，推动了多模态融合编码器在机器人操作领域的发展。部分工作还以其为测试基准，探索了基于扩散过程的动作生成模型在高精度堆叠任务中的涌现特性。

数据集最近研究

最新研究方向

随着具身智能与机器人操作领域的迅猛发展，pick1_jenga1_v1数据集为模仿学习与精细操作控制提供了关键支撑。该数据集聚焦于单任务机器人操作场景，通过so_follower机械臂在叠叠乐（Jenga）游戏中的精细抓取与放置动作，记录了51个回合、超15000帧的高频状态-动作序列及前向视觉数据。其结构化的关节空间动作（6自由度）与同步观测设计，特别适配于基于扩散策略（Diffusion Policy）或行为克隆（Behavioral Cloning）的最新神经网络架构。当前前沿研究正依托此类高保真机器人操作数据集，探索在有限样本下如何实现从示教数据到复杂物理交互的泛化能力，推动机器人从实验室逐步迈向更具动态性与不确定性的现实环境，对提升工业装配、家庭服务等领域的自动化水平具有深远意义。