so100_test

该数据集使用LeRobot创建，包含机器人类型为so100的相关数据。数据集共有2个剧集，1791帧，1个任务，4个视频和1个片段，每个片段大小为1000。数据集的帧率为30fps，且仅包含训练集划分。数据集中的特征包括动作、状态、笔记本电脑图像和手机图像等，并且提供了详细的特征类型、形状和名称信息。数据集遵循Apache-2.0许可证。

原始信息汇总

数据集概述

基本信息

• 许可证: apache-2.0
• 任务类别: robotics
• 标签: LeRobot, so100, tutorial

数据集描述

• 主页: [More Information Needed]
• 论文: [More Information Needed]
• 创建工具: LeRobot

数据集结构

• 数据文件: data/*/*.parquet
• 代码库版本: v2.1
• 机器人类型: so100
• 总集数: 2
• 总帧数: 1791
• 总任务数: 1
• 总视频数: 4
• 总块数: 1
• 块大小: 1000
• 帧率: 30 fps
• 数据路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征

• action:
  • 数据类型: float32
  • 形状: [6]
  • 名称: main_shoulder_pan, main_shoulder_lift, main_elbow_flex, main_wrist_flex, main_wrist_roll, main_gripper
• observation.state:
  • 数据类型: float32
  • 形状: [6]
  • 名称: main_shoulder_pan, main_shoulder_lift, main_elbow_flex, main_wrist_flex, main_wrist_roll, main_gripper
• observation.images.laptop:
  • 数据类型: video
  • 形状: [480, 640, 3]
  • 名称: height, width, channels
  • 信息:
    • video.fps: 30.0
    • video.height: 480
    • video.width: 640
    • video.channels: 3
    • video.codec: av1
    • video.pix_fmt: yuv420p
    • video.is_depth_map: false
    • has_audio: false
• observation.images.phone:
  • 数据类型: video
  • 形状: [480, 640, 3]
  • 名称: height, width, channels
  • 信息:
    • video.fps: 30.0
    • video.height: 480
    • video.width: 640
    • video.channels: 3
    • video.codec: av1
    • video.pix_fmt: yuv420p
    • video.is_depth_map: false
    • has_audio: false
• timestamp:
  • 数据类型: float32
  • 形状: [1]
• frame_index:
  • 数据类型: int64
  • 形状: [1]
• episode_index:
  • 数据类型: int64
  • 形状: [1]
• index:
  • 数据类型: int64
  • 形状: [1]
• task_index:
  • 数据类型: int64
  • 形状: [1]

引用

• BibTeX: [More Information Needed]

搜集汇总

数据集介绍

构建方式

在机器人技术领域，so100_test数据集通过LeRobot平台精心构建，采用先进的parquet格式存储数据。该数据集包含2个完整的情节，总计1791帧画面，以30fps的帧率捕捉了机器人操作过程中的多维信息。数据采集系统记录了6自由度机械臂的关节动作状态，同时通过笔记本电脑和手机摄像头同步获取了480x640分辨率的视觉信息，所有数据均以时间戳精确对齐。

特点

该数据集最显著的特点在于其多维异构数据的完美融合。不仅包含机械臂6个关节的精确动作参数（main_shoulder_pan等），还同步采集了双视角的视觉数据。每个视频帧都配有精确的时间戳和帧索引，实现了动作指令与视觉观测的毫秒级同步。数据采用AV1编解码存储，在保证质量的同时显著减小了存储空间，特别适合机器人模仿学习算法的开发与验证。

使用方法

研究人员可通过解析parquet文件直接获取结构化数据，其中动作指令和状态观测以float32格式存储，视觉数据则以视频流形式保存。数据集已预分为训练集，包含全部2个情节。使用时应特别注意动作空间与观测空间的对应关系，建议先通过时间戳对齐多模态数据。该数据集特别适用于开发机械臂视觉伺服控制、行为克隆等算法，可加载至主流深度学习框架进行端到端训练。

背景与挑战

背景概述

so100_test数据集由LeRobot项目团队创建，旨在为机器人学领域提供高质量的实验数据。该数据集聚焦于机械臂控制任务，记录了机械臂在特定环境中的运动轨迹、状态观测及多视角视频数据。数据集采用Apache-2.0许可协议，包含6自由度机械臂的关节角度、末端执行器状态以及来自笔记本电脑和手机的双视角视觉信息。其结构化存储格式和30fps的高帧率视频为机器人模仿学习与强化学习算法提供了丰富的训练素材。

当前挑战

该数据集面临的领域挑战在于如何从多模态观测数据中提取有效特征以实现精确的机械臂动作预测，这需要解决高维连续动作空间的控制问题以及视觉-运动跨模态对齐难题。在构建过程中，数据采集系统需同步处理多传感器数据流，确保时间戳精确对齐；同时，视频编解码采用AV1格式虽节省存储空间，但增加了实时处理的算力需求。此外，数据集规模较小（仅2个训练片段）可能限制复杂模型的泛化能力。

常用场景

经典使用场景

在机器人控制与行为学习领域，so100_test数据集以其多模态观测数据和精确动作记录为特色，成为算法验证的基准平台。该数据集通过整合机械臂关节状态、视觉感知和时间戳信息，为模仿学习与强化学习提供了高保真的训练环境，特别适用于研究机械臂在动态场景中的轨迹规划问题。

实际应用

工业自动化场景中，该数据集支持开发基于视觉伺服的抓取系统，其记录的笔记本电脑和手机双视角视频流可训练鲁棒的目标检测模型。物流分拣系统通过迁移学习该数据集训练的控制策略，能够快速适应不同几何形状物体的抓取任务。

衍生相关工作

基于该数据集衍生的研究包括多智能体协同操作框架SO-Net，其通过分解动作空间提升了机械臂控制精度。另有关联工作VisuoMotor Transformer利用该数据集的时序视频特征，开创了基于注意力机制的端到端控制范式，在ICRA等机器人顶会引发广泛讨论。