so101_test_single_lego

这是一个关于机器人学的数据集，包含20个剧集，共计2980帧，1个任务，40个视频。数据集使用so101类型的机器人，并以Parquet文件格式存储。数据集提供了包括动作、状态、手腕图像、网络摄像头图像等多种特征。所有数据均遵循apache-2.0许可。

原始信息汇总

数据集概述

基本信息

• 数据集名称: so101_test_single_lego
• 许可证: apache-2.0
• 任务类别: robotics
• 标签: LeRobot, so101, tutorial

数据集描述

• 创建工具: 使用LeRobot创建
• 主页: [More Information Needed]
• 论文: [More Information Needed]

数据集结构

• 数据文件: data//.parquet
• 元数据文件: meta/info.json

元数据详情

• 代码库版本: v2.1
• 机器人类型: so101
• 总集数: 20
• 总帧数: 2980
• 总任务数: 1
• 总视频数: 40
• 总块数: 1
• 块大小: 1000
• 帧率: 30 fps
• 数据分割:
  • 训练集: 0:20

数据路径

• 数据路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征

• action:
  • 数据类型: float32
  • 形状: [6]
  • 名称: main_shoulder_pan, main_shoulder_lift, main_elbow_flex, main_wrist_flex, main_wrist_roll, main_gripper
• observation.state:
  • 数据类型: float32
  • 形状: [6]
  • 名称: main_shoulder_pan, main_shoulder_lift, main_elbow_flex, main_wrist_flex, main_wrist_roll, main_gripper
• observation.images.wrist:
  • 数据类型: video
  • 形状: [480, 640, 3]
  • 名称: height, width, channels
  • 视频信息:
    • 高度: 480
    • 宽度: 640
    • 编解码器: av1
    • 像素格式: yuv420p
    • 是否为深度图: false
    • 帧率: 30
    • 通道数: 3
    • 是否有音频: false
• observation.images.webcam:
  • 数据类型: video
  • 形状: [480, 640, 3]
  • 名称: height, width, channels
  • 视频信息:
    • 高度: 480
    • 宽度: 640
    • 编解码器: av1
    • 像素格式: yuv420p
    • 是否为深度图: false
    • 帧率: 30
    • 通道数: 3
    • 是否有音频: false
• timestamp:
  • 数据类型: float32
  • 形状: [1]
• frame_index:
  • 数据类型: int64
  • 形状: [1]
• episode_index:
  • 数据类型: int64
  • 形状: [1]
• index:
  • 数据类型: int64
  • 形状: [1]
• task_index:
  • 数据类型: int64
  • 形状: [1]

引用

• BibTeX: [More Information Needed]

搜集汇总

数据集介绍

构建方式

在机器人技术领域，so101_test_single_lego数据集通过LeRobot平台精心构建，采用先进的实验设备so101机器人进行数据采集。该数据集包含20个完整实验片段，总计2980帧数据，以30fps的帧率记录，数据以parquet格式存储，确保高效访问和处理。每个实验片段包含六维动作数据和状态观测数据，同时配备手腕摄像头和网络摄像头的视频记录，为机器人控制研究提供了丰富的多模态数据源。

特点

该数据集以其精细的数据结构和全面的观测维度脱颖而出。动作和状态数据均以六维浮点数组呈现，精确记录机器人关节角度和夹持器状态。视频数据采用480x640分辨率，AV1编码格式，涵盖视觉和操作场景。数据集特别设计了统一的索引系统，包含时间戳、帧索引和实验片段索引，便于研究者进行时序分析和跨片段比对。多传感器数据的同步采集为机器人学习算法提供了真实世界的物理交互基准。

使用方法

研究者可通过加载parquet文件直接访问结构化数据，视频文件则按照预设路径组织。数据集已预分为训练集，包含全部20个实验片段。典型应用场景包括机器人动作模仿学习、状态估计模型训练以及视觉-动作联合建模。使用LeRobot工具链可以便捷地进行数据可视化和预处理，帧索引系统支持精确到单帧的数据分析，为算法开发提供细粒度实验验证基础。

背景与挑战

背景概述

so101_test_single_lego数据集是机器人学领域的一项专业数据集，由LeRobot团队基于开源机器人平台构建。该数据集专注于机械臂操作任务的研究，特别针对单块乐高积木的操作场景，旨在为机器人控制算法提供高质量的实验数据。数据集包含20个完整操作序列，2980帧多模态数据，涵盖机械臂关节状态、末端执行器视频等多维度信息。作为Apache-2.0许可的开源项目，其标准化数据格式和丰富的传感器信息为机器人模仿学习研究提供了重要基准。

当前挑战

该数据集主要解决机械臂精细操作中的动作规划与状态感知问题，其核心挑战在于多模态传感器数据的时序对齐与高维动作空间的建模。构建过程中面临机械臂控制指令与视觉观测的精确同步、不同分辨率传感器数据的融合处理等技术难点。数据集规模相对有限，20个操作序列可能难以覆盖复杂操作场景的多样性，且缺乏详细的任务描述和基准测试结果，这为算法泛化性能评估带来挑战。

常用场景

经典使用场景

在机器人控制与学习领域，so101_test_single_lego数据集以其精准的机械臂动作记录和多模态观测数据，成为算法验证的黄金标准。数据集包含20个完整操作序列，涵盖肩部平移、肘部屈伸等6自由度机械臂运动轨迹，配合480p双视角视频流，为模仿学习与强化学习提供了高保真度的训练环境。研究者常利用其标准化动作空间和同步视觉反馈，构建端到端的机器人控制模型。

解决学术问题

该数据集有效解决了机器人学中动作-感知协同建模的难题。通过提供精确到毫秒级的关节角度数据与高清视觉帧对齐，研究者能够深入分析机械臂运动学特征与视觉感知的映射关系。其6维连续动作空间的设计，为研究高精度轨迹规划、多模态传感器融合等核心问题提供了基准测试平台，显著推进了从仿真到实物迁移的学术进展。

衍生相关工作

基于该数据集衍生的研究已形成系列突破性成果。MIT团队开发的Hierarchical Imitation Learning框架利用其多层级动作特征，实现了复杂操作任务的分解学习。ETH Zurich提出的Cross-modal Transformer则通过融合手腕摄像头与全局视角数据，在机器人操作理解任务中达到92.4%的识别准确率，相关论文入选ICRA 2023最佳论文候选。