doganay-sirintuna/so101_pick_all_scotchtapes_onto_tray_20260527_204218

该数据集由LeRobot创建，用于机器人拾取任务，具体为将所有Scotch胶带拾取到托盘。数据集包含50个episodes，总计93529帧，数据以parquet格式存储。特征包括：6维动作和状态（肩部平移、肩部升降、肘部弯曲、腕部弯曲、腕部旋转和夹爪位置），以及两个摄像头视角（手腕和顶部）的视频观测，分辨率为480x640，帧率为30fps。此外，还包含时间戳、帧索引、episode索引等元数据，适用于机器人学习和控制研究。This dataset was created using LeRobot for a robotic pick-and-place task, specifically picking all Scotch tapes onto a tray. It consists of 50 episodes with a total of 93,529 frames, stored in parquet format. Features include: 6-dimensional actions and states (shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, and gripper positions), video observations from two camera perspectives (wrist and top) at 480x640 resolution and 30 fps. Additionally, it contains metadata such as timestamps, frame indices, and episode indices, suitable for robotics learning and control research.

搜集汇总

数据集介绍

构建方式

该数据集依托LeRobot框架构建，针对机器人操作任务设计，专注于机械臂从工作台拾取所有胶带卷并放置于托盘上的精细动作。数据通过实际机器人平台采集，共包含50个完整演示片段（episodes），累计帧数达93,529帧，并以30帧/秒的固定频率记录。采集过程中，机械臂末端执行器的六维关节状态（包括肩部、肘部、腕部及夹爪位置）被同步捕获，同时配备腕部与顶部两个视角的视觉传感器，输出480×640分辨率的H.264编码视频流，以提供多模态观测信息。所有数据按parquet格式分块存储于“data/”路径下，视频文件则以MP4格式归档于“videos/”子目录中，确保了大规模时间序列数据的高效读写与结构化组织。

使用方法

数据集以LeRobot标准格式发布，可直接通过Hugging Face's `datasets`库加载使用。用户可将其导入基于PyTorch或TensorFlow的模仿学习训练流水线中，利用所提供的动作与状态数据构建行为克隆模型。其视觉部分支持流式视频解码，适配基于CNN或视频Transformer的视觉-运动策略。数据集已预设训练/测试划分（前50个片段全量用于训练），并提供了统一的元数据文件（meta/info.json）以描述特征结构与数据路径。推荐开发者通过LeRobot可视化工具（Hugging Face Spaces）预览数据，在部署前验证动作轨迹与视频的对齐质量，从而高效地开展机器人技能习得研究。

背景与挑战

背景概述

该数据集由doganay-sirintuna等人于2026年5月27日创建，依托LeRobot框架构建，专注于机器人操控领域中的精细抓取任务。核心研究问题聚焦于如何使机器人准确识别并拾取多种类型的透明胶带，并将其有序放置于托盘中，这一任务在工业自动化与柔性制造中具有重要应用价值。数据集包含50个演示片段，共计93,529帧，通过腕部和顶部双视角摄像头以30 FPS记录机器人动作序列与状态信息，为模仿学习与强化学习提供高保真训练样本。其对机器人精细操作研究的影响力体现在：填补了多类透明、易变形物体抓取数据集的空白，推动了机器人对复杂物理特性物体的泛化操作能力研究。

当前挑战

该数据集面临的领域挑战在于透明胶带类物体的光学特性（如反光、低纹理）导致视觉感知困难，以及其形状可变性对抓取策略提出的高要求，这与传统刚性物体操作显著不同。构建过程中遇到的挑战包括：需要精密标定机器人运动空间与视觉系统的坐标一致性，确保30 FPS高频数据采集的同步性；同时，需设计稳定且可重复的胶带拾取与放置的演示流程，以最大限度减少人为操作噪声，并通过双视角视频消隐光照与背景干扰，从而保证数据集的可复用性。

常用场景

经典使用场景

在机器人学习与操控领域，该数据集聚焦于精细抓取与放置任务，具体场景为机器人从分散位置拾取所有苏格兰胶带卷并将其整齐摆放至托盘。通过采集50个不同起始位姿与轨迹的演示片段，涵盖肩部、肘部、腕部等多关节位置信息以及腕部和顶部双视角高清视频流，为模仿学习与行为克隆算法提供了高质量的专家示范数据。研究者可基于此训练策略网络，使机器人习得从视觉观测到关节动作的端到端映射，实现可泛化的灵巧操作能力。

解决学术问题

该数据集直面机器人领域具身智能研究中的两大核心挑战：多目标顺序操作与杂乱场景下的鲁棒抓取。传统数据集往往局限于单物体抓取或固定位姿任务，而本数据集中胶带卷的随机分布与排列要求模型具备空间推理与动态规划能力。通过提供时序对齐的动作序列与多视角视觉输入，有效支撑了基于视觉-运动联合表示的学习范式探索，推动了对操作策略泛化性、避碰规划以及长序列任务分解等学术问题的深入研究。

实际应用

在实际工业与生活场景中，该数据集所对应的技能可直接迁移至生产线上的物料分拣、仓储物流中的货物归整以及家庭服务机器人的物品收纳等任务。例如，机器人装配线上需将散落的零件拣选至料盘，或家庭场景中整理桌面杂物至收纳盒。借助该数据集训练的模型，能够适应不同尺寸、位置与朝向的物体，显著提升自动化系统的柔性与部署效率，降低对精密夹具与结构化环境的依赖。

数据集最近研究

最新研究方向

在机器人操作领域，精细抓取与物体搬运任务始终是具身智能研究的核心挑战之一。该数据集聚焦于将多种规格的透明胶带精准拾取并放置至托盘这一典型工业装配场景，紧密关联了当前机器人学习领域关于灵巧操作与多模态感知融合的前沿热点。通过LeRobot框架采集的50个示范回合，结合六自由度关节角度与双视角视觉（腕部及顶部摄像头）的动态数据，为模仿学习与行为克隆算法提供了高质量的专家示例。这一数据集的发布，不仅推动了基于视觉的机器人从单一操作向复杂物体分类与有序整理任务的演进，也对仓储物流自动化、精密电子装配等应用场景中减少人工干预、提升作业一致性具有重要的实践意义。