switch_test

该数据集使用LeRobot创建，包含机器人操作的相关数据。数据集共有30个剧集，26127帧，60个视频和1个数据块。每个数据块包含1000帧数据，帧率为30fps。数据集分为训练集。数据包含行动位置、观测状态、前后视角图像以及其他时间戳和索引信息。数据以Parquet文件格式存储，视频为av1编码的MP4文件。

原始信息汇总

数据集概述

基本信息

• 许可证: Apache-2.0
• 任务类别: 机器人学 (Robotics)
• 标签: LeRobot
• 创建工具: LeRobot

数据集结构

• 数据文件格式: Parquet
• 配置名称: default
• 数据文件路径: data/*/*.parquet

元数据信息

• 代码库版本: v2.1
• 机器人类型: so101_follower
• 总集数: 30
• 总帧数: 26127
• 总任务数: 1
• 总视频数: 60
• 总块数: 1
• 块大小: 1000
• 帧率 (FPS): 30
• 训练集划分: 0:30

数据特征

动作 (Action)

• 数据类型: float32
• 形状: [6]
• 名称:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

观测状态 (Observation.State)

• 数据类型: float32
• 形状: [6]
• 名称: 同动作特征

观测图像 (Observation.Images)

前视图 (Front)

• 数据类型: video
• 形状: [480, 640, 3]
• 视频信息:
  • 高度: 480
  • 宽度: 640
  • 编解码器: av1
  • 像素格式: yuv420p
  • 非深度图
  • 帧率: 30
  • 通道数: 3
  • 无音频

侧视图 (Side)

• 数据类型: video
• 形状: [480, 640, 3]
• 视频信息: 同前视图

其他特征

• 时间戳 (Timestamp): float32, 形状 [1]
• 帧索引 (Frame Index): int64, 形状 [1]
• 集索引 (Episode Index): int64, 形状 [1]
• 索引 (Index): int64, 形状 [1]
• 任务索引 (Task Index): int64, 形状 [1]

引用

• BibTeX: [More Information Needed]

搜集汇总

数据集介绍

构建方式

在机器人技术领域，数据采集的精确性与系统性至关重要。switch_test数据集通过LeRobot框架构建，采用so101_follower型机器人执行单一任务，采集了30个完整 episodes 的交互数据。数据以30fps的帧率记录，包含26,127帧多维观测信息，并以分块parquet格式存储，确保数据的高效访问与完整性。

特点

该数据集显著特点在于其多模态数据结构，同时包含六维关节空间的动作向量与状态观测，以及双视角（正面与侧面）的RGB视频流。视频采用AV1编码，分辨率达640x480，兼具视觉细节与存储效率。时序索引与任务标识符的完整标注，为机器人模仿学习提供了丰富的时空上下文信息。

使用方法

研究者可通过加载parquet文件直接访问帧级数据，利用action字段进行策略学习，结合observation.state和observation.images进行状态重构与视觉感知建模。数据集完全用于训练任务，支持端到端的机器人控制算法验证，其标准化结构便于与主流强化学习框架集成。

背景与挑战

背景概述

机器人学习领域近年来在模仿学习与强化学习方面取得显著进展，数据集构建成为推动算法发展的关键基础设施。switch_test数据集由HuggingFace的LeRobot项目创建，专门针对六自由度机械臂控制任务设计。该数据集通过多视角视觉观测与关节状态数据，记录了30个完整操作序列，旨在为机器人动作生成与状态预测模型提供高质量训练资源。其采用Apache 2.0开源协议，体现了开放科学社区对机器人技术民主化的追求。

当前挑战

该数据集致力于解决机械臂精细操作中的动作-视觉关联难题，其核心挑战在于多模态时序数据的对齐与一致性维护。构建过程中面临高维度动作空间与双视角视频流同步的技术障碍，需要精确的时间戳匹配和传感器校准。数据采集环节需克服机械臂运动轨迹平滑性与视觉观测遮挡处理的矛盾，同时确保6自由度关节动作与480p视频帧间的时空一致性。

常用场景

经典使用场景

在机器人学习领域，switch_test数据集作为LeRobot项目的重要组成部分，主要用于模仿学习与行为克隆算法的训练与验证。该数据集通过记录六自由度机械臂的关节位置状态与多视角视觉观测数据，为机器人动作预测模型提供了丰富的时空关联信息。研究者可基于该数据集构建从视觉输入到关节动作的端到端映射模型，探索在复杂环境中机械臂的自主控制策略。

实际应用

在工业自动化场景中，该数据集可直接应用于机械臂示教学习系统的开发。通过分析人类操作者的关节运动轨迹与视觉环境变化，能够训练出适应产线环境的分拣、装配等任务模型。其双视角视觉配置特别适合构建对遮挡鲁棒的视觉伺服系统，为柔性制造产线提供无需精密编程的自主操作解决方案。

衍生相关工作

基于该数据集的特性，已衍生出多项关于多视角视觉动作识别的创新研究。其中最具代表性的是结合时空注意力机制的仿生控制算法，通过并行处理前视与侧视视频流实现动作意图的精准解析。此外，该数据集还催生了基于跨模态对比学习的动作生成框架，为机器人技能迁移学习提供了新的范式。