196-ShellGame-LeftCup

该数据集是一个机器人任务数据集，包含3个剧集，共1790帧，1个任务，6个视频和1个数据块。数据集以Parquet文件格式存储，并包含多种特征，如机器人关节位置、USB摄像头和手腕摄像头的视频数据。数据集适用于机器人学相关的研究和开发。

搜集汇总

数据集介绍

构建方式

196-ShellGame-LeftCup数据集基于LeRobot框架构建，专为机器人学领域设计。该数据集通过so101_follower机器人采集，包含3个完整的情节，共计1790帧数据，以30fps的帧率记录。数据以分块形式存储，每块包含1000帧，采用Parquet格式高效压缩。动作与观测数据均以float32类型存储，涵盖6个关节位置信息，同时配备720p和1080p双视角视频流，采用AV1编码确保画质与压缩效率的平衡。

特点

该数据集的核心价值在于其多维度的机器人操作数据同步采集。不仅包含6自由度机械臂的精确关节位置动作指令，还同步记录末端执行器视角（1920×1080）和固定视角（1280×720）的双路高清视频。所有数据均带有精确的时间戳和帧索引，支持毫秒级时序对齐。独特的结构化存储设计使得动作-观测对能直接用于强化学习训练，而丰富的元数据描述则为算法验证提供充分依据。

使用方法

使用者可通过解析Parquet文件直接获取结构化机器人数据，配套视频文件存储在独立目录中。数据集已预分为训练集（包含全部3个情节），可直接加载用于行为克隆或强化学习算法训练。对于动作空间，应注意6维浮点数组对应各关节位置指令；观测空间则包含关节状态和双路视频流，建议使用OpenCV等库处理视频帧。时间戳字段支持跨模态数据对齐，是研究感知-动作闭环系统的理想素材。

背景与挑战

背景概述

196-ShellGame-LeftCup数据集作为机器人操作任务领域的重要资源，由HuggingFace的LeRobot项目团队开发并发布，旨在推动机器人视觉与动作协同控制的研究。该数据集基于Apache-2.0许可协议开放，主要聚焦于机械臂在Shell Game任务中的左杯操作场景，通过高精度关节位置数据和多视角视频记录，为机器人模仿学习与强化学习算法提供了丰富的训练样本。数据集采用SO101型机械臂作为实验平台，以30fps的采样频率捕获了1790帧包含六自由度关节动作和720p/1080p双视角视觉观测的时序数据，其结构化存储格式和详尽的元数据标注体现了现代机器人数据集的设计规范。

当前挑战

该数据集面临的核心挑战体现在算法开发与数据质量两个维度。在算法层面，如何从有限的三条任务轨迹中提取有效的动作模式，并克服机械臂高维连续动作空间带来的控制难题，是提升模仿学习性能的关键瓶颈。数据构建过程中，多模态传感器的时间同步精度、不同分辨率视觉数据的标定对齐，以及长时序动作序列的标注一致性，均为数据集质量保障的技术难点。此外，数据规模受限和任务场景单一的特性，也对模型的泛化能力提出了严峻考验。

常用场景

经典使用场景

在机器人控制与视觉感知领域，196-ShellGame-LeftCup数据集以其精细的机械臂动作记录和多视角视觉数据，成为研究机器人执行复杂操作任务的经典基准。该数据集通过记录机械臂在特定任务中的关节位置、抓取器状态以及高清视频流，为研究者提供了丰富的动作-观察对，尤其适用于模仿学习与强化学习算法的训练与验证。

实际应用

在工业自动化场景中，该数据集可直接应用于装配线分拣系统的开发。基于数据集训练的模型能够指导机械臂完成精确的抓取和放置操作，特别适用于电子元件组装等需要毫米级精度的场景。其腕部摄像头采集的高清视频流，为开发基于视觉反馈的实时校正系统提供了宝贵资源。

衍生相关工作

该数据集已催生多项机器人学习领域的重要研究，包括基于Transformer的动作预测模型和跨模态表示学习框架。部分研究团队利用其多模态特性，开发了融合关节传感器数据与视觉信息的端到端控制系统，这些成果显著提升了机械臂在非结构化环境中的操作能力。