sbt_non_cyclic

该数据集由LeRobot创建，采用Apache-2.0许可协议，专为机器人技术领域设计。数据集包含200个任务场景，总计94,562帧数据，数据文件大小为100MB，视频文件大小为200MB。数据以Parquet格式存储，帧率为50fps。数据集结构包括机器人状态观测（14个浮点型特征，涵盖左右臂各关节角度和夹持器状态）、动作数据（同样14个特征）、三个不同视角的视频观测（分辨率480x640，彩色三通道），以及时间戳、帧索引、任务索引等元数据。视频数据采用AV1编码，无音频。该数据集适用于机器人控制、行为克隆、强化学习等任务。

原始信息汇总

数据集概述

基本信息

• 数据集名称: sbt_non_cyclic
• 创建工具: LeRobot (https://github.com/huggingface/lerobot)
• 许可证: Apache-2.0
• 任务类别: 机器人学
• 标签: LeRobot

数据集规模

• 总情节数: 200
• 总帧数: 94562
• 总任务数: 156
• 数据块大小: 1000
• 数据文件大小: 100 MB
• 视频文件大小: 200 MB
• 帧率: 50 FPS
• 数据分割: 训练集 (0:200)

数据结构与特征

数据以Parquet文件格式存储，路径模式为 data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet。 视频以MP4文件格式存储，路径模式为 videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4。

主要特征字段

1. observation.state

   • 数据类型: float32
   • 形状: [14]
   • 描述: 机器人状态，包含右臂和左臂各7个关节（腰部、肩部、肘部、前臂滚转、手腕角度、手腕旋转、夹爪）的观测值。

2. action

   • 数据类型: float32
   • 形状: [14]
   • 描述: 机器人动作，包含右臂和左臂各7个关节（同上）的动作指令。

3. observation.images.cam_high

   • 数据类型: video
   • 形状: [3, 480, 640]
   • 视频信息: RGB图像，分辨率640x480，编码格式AV1，帧率50 FPS，无音频。

4. observation.images.cam_left_wrist

   • 数据类型: video
   • 形状: [3, 480, 640]
   • 视频信息: RGB图像，分辨率640x480，编码格式AV1，帧率50 FPS，无音频。

5. observation.images.cam_right_wrist

   • 数据类型: video
   • 形状: [3, 480, 640]
   • 视频信息: RGB图像，分辨率640x480，编码格式AV1，帧率50 FPS，无音频。

6. 元数据索引

   • timestamp: 时间戳 (float32)
   • frame_index: 帧索引 (int64)
   • episode_index: 情节索引 (int64)
   • index: 索引 (int64)
   • task_index: 任务索引 (int64)

其他信息

• 代码库版本: v3.0
• 机器人类型: aloha
• 主页: 未提供
• 论文: 未提供
• 引用信息: 未提供

搜集汇总

数据集介绍

构建方式

在机器人学习领域，高质量的数据集对于算法训练至关重要。sbt_non_cyclic数据集依托LeRobot平台构建，专门针对双手机械臂操作任务。该数据集通过ALOHA机器人系统采集，涵盖了156项不同任务，总计200条轨迹与94562帧数据。数据以分块形式存储于Parquet文件中，每块包含1000帧，确保了高效的数据管理与读取。采集过程中，机器人状态与动作以50Hz频率同步记录，同时整合了多视角视觉信息，为模仿学习与强化学习提供了丰富的多模态交互序列。

特点

该数据集的核心特征在于其全面且结构化的多模态表示。它不仅提供了14维的机器人关节状态与动作向量，精确刻画了双臂的位姿与抓取器状态，还包含了三个高分辨率摄像头采集的视觉流：高位视角、左腕视角与右腕视角，每路视频均以640x480分辨率与50帧率编码。数据以严格的时序对齐方式组织，辅以时间戳、帧索引与任务索引等元数据，支持对长时程任务进行细粒度分析。这种融合了状态、动作与多视角视觉的数据结构，为端到端策略学习与跨模态表示研究奠定了坚实基础。

使用方法

研究人员可通过HuggingFace数据集库直接加载sbt_non_cyclic数据集，利用其预定义的数据分割进行模型训练与评估。数据集中的观察状态、动作及图像特征可直接用于训练行为克隆或离线强化学习模型。多路视频数据可通过指定特征键进行流式读取，适用于视觉-动作映射模型的开发。得益于Parquet格式与分块存储设计，用户能够高效地按需加载特定片段或进行大规模批处理。该数据集为机器人操作技能的模仿学习、多传感器融合策略以及长时程任务规划等研究方向提供了即用型数据支持。

背景与挑战

背景概述

在机器人学习领域，模仿学习与强化学习的发展亟需高质量、大规模的真实世界交互数据集作为支撑。sbt_non_cyclic数据集由HuggingFace的LeRobot项目创建，专门面向双臂机器人操作任务。该数据集采集自ALOHA机器人平台，包含200个完整交互片段，总计超过9.4万帧数据，涵盖了156项具体任务。其核心研究问题在于如何通过多模态观测数据——包括高分辨率视觉信息与精确的关节状态——来训练机器人执行复杂、非周期性的灵巧操作行为，从而推动机器人从感知到动作的端到端学习范式的进步。

当前挑战

该数据集旨在解决机器人模仿学习中非周期性、长序列操作任务的泛化难题，其挑战在于如何从高维视觉与状态观测中提取有效特征，并生成精确、平滑的连续动作序列。构建过程中的挑战则体现在多传感器数据的同步与校准、大规模视频数据的高效压缩存储，以及确保不同任务间数据分布的一致性与多样性。此外，真实世界数据的采集涉及硬件噪声、环境干扰以及任务执行的随机性，这些因素均对数据集的纯净度与实用性构成了显著考验。

常用场景

经典使用场景

在机器人学习领域，sbt_non_cyclic数据集以其丰富的双机械臂操作记录而著称，特别适用于模仿学习与行为克隆的研究。该数据集收录了ALOHA机器人系统执行156项不同任务时的状态观测、动作序列及多视角视觉数据，为算法提供了高维度的连续控制样本。研究者常利用这些序列数据训练策略网络，使机器人能够从人类演示中学习复杂的双臂协调操作，如物体抓取、装配等精细动作，从而在仿真与真实环境中实现技能迁移。

解决学术问题

该数据集有效应对了机器人模仿学习中数据稀缺与多样性不足的挑战。通过提供大规模、多任务的双臂操作演示，它支持算法探索高维状态-动作映射的泛化能力，解决了传统方法在复杂动态环境中适应性弱的问题。其意义在于推动了端到端学习框架的发展，使机器人能够直接从原始传感器输入中推断控制指令，降低了手工设计特征的需求，为自主技能获取奠定了数据基础。

衍生相关工作

围绕sbt_non_cyclic数据集，学术界衍生出一系列专注于机器人模仿学习与强化学习的经典工作。例如，基于此类数据的算法研究探索了视觉-动作联合表征学习、跨任务策略迁移以及演示数据的高效利用方法。这些工作不仅深化了对多模态序列建模的理解，还催生了新的网络架构与训练范式，进一步推动了机器人学习社区在真实世界技能获取方面的进展。