so101_test

这是一个使用LeRobot创建的机器人数据集，包含5个总的剧集，4433个总帧数，1个总任务和10个视频文件。数据集以parquet文件格式存储，并且每个视频文件都有对应的MP4文件。数据集中的特征包括机器人的动作、状态、手眼图像和固定图像等，并且提供了时间戳、帧索引、剧集索引等信息。

原始信息汇总

数据集概述

基本信息

• 许可证: Apache-2.0
• 任务类别: 机器人技术
• 创建工具: LeRobot
• 标签: LeRobot

数据集结构

数据统计

• 总情节数: 5
• 总帧数: 4433
• 总任务数: 1
• 总视频数: 10
• 总块数: 1
• 块大小: 1000
• 帧率: 30 fps
• 训练集划分: 0:5

数据格式

• 数据文件格式: Parquet
• 数据路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征结构

动作特征

• 名称: action
• 数据类型: float32
• 形状: [6]
• 关节名称:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

观测状态

• 名称: observation.state
• 数据类型: float32
• 形状: [6]
• 关节名称:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

手眼相机图像

• 名称: observation.images.handeye
• 数据类型: video
• 图像尺寸: 480×640×3
• 视频参数:
  • 高度: 480
  • 宽度: 640
  • 编解码器: h264
  • 像素格式: yuv420p
  • 非深度图
  • 帧率: 30 fps
  • 通道数: 3
  • 无音频

固定相机图像

• 名称: observation.images.fixed
• 数据类型: video
• 图像尺寸: 480×640×3
• 视频参数:
  • 高度: 480
  • 宽度: 640
  • 编解码器: h264
  • 像素格式: yuv420p
  • 非深度图
  • 帧率: 30 fps
  • 通道数: 3
  • 无音频

其他特征

• 时间戳: float32, 形状[1]
• 帧索引: int64, 形状[1]
• 情节索引: int64, 形状[1]
• 索引: int64, 形状[1]
• 任务索引: int64, 形状[1]

技术信息

• 代码库版本: v2.1
• 机器人类型: so101_follower

引用信息

• 主页: [More Information Needed]
• 论文: [More Information Needed]
• BibTeX引用: [More Information Needed]

搜集汇总

数据集介绍

构建方式

在机器人技术领域，so101_test数据集依托LeRobot框架构建，通过记录so101_follower型机器人的实际交互过程形成原始数据。该数据集包含5个完整任务片段，总计4433帧数据，以30帧每秒的速率采集，并以分块形式存储于Parquet格式文件中。数据采集过程涵盖了机器人关节位置、视觉感知等多模态信息，确保了数据的时序一致性与完整性。

特点

该数据集的核心特征体现在其多模态数据结构设计上，同时包含六维关节空间的动作指令与状态观测，以及双视角视觉数据流。动作与状态数据均以浮点型数值记录六自由度机械臂的精确位姿，而视觉数据则通过固定视角与手眼相机分别采集480×640分辨率的RGB视频流。数据集采用统一时间戳索引机制，支持跨模态数据的精确对齐与联合分析。

使用方法

研究人员可通过解析Parquet数据文件与配套视频文件开展机器人行为克隆与策略学习研究。数据加载时需按照指定路径模板访问分块存储的 episode 数据，利用帧索引与时间戳实现多模态数据同步。该数据集适用于端到端模仿学习、传感器融合等研究方向，使用者可基于动作-观测对构建训练样本，或结合视频流进行视觉运动策略的验证与改进。

背景与挑战

背景概述

在机器人技术研究领域，仿真与真实环境的数据采集对算法验证至关重要。so101_test数据集基于LeRobot开源框架构建，专门针对so101_follower型机器人设计，包含多模态观测数据与关节控制指令。该数据集通过固定视角与手眼相机同步记录480×640分辨率视频流，结合六自由度机械臂的关节位置状态，为模仿学习与行为克隆研究提供结构化实验数据。其时间戳与帧索引的精细标注体系，为连续动作决策研究建立了时序关联基准。

当前挑战

机器人操作任务中，高维视觉观测与低维动作空间的映射关系建模存在显著挑战。so101_test需解决从双视角图像序列到六关节连续控制的端到端学习问题，涉及视觉表征提取、动作序列平滑性保持等核心难点。数据构建过程中，多传感器时序同步精度、机械臂运动轨迹的物理可行性校验、以及长周期任务的数据分段存储策略，均为实际工程实施的关键制约因素。

常用场景

经典使用场景

在机器人控制领域，so101_test数据集通过记录六自由度机械臂的关节位置与多视角视觉数据，为模仿学习算法提供了标准化的训练环境。该数据集以固定视角和手眼相机同步捕捉操作场景，结合连续动作轨迹与状态观测，成为开发自主抓取、物体操纵等任务的核心基准。研究者可利用其结构化时空特征，构建从感知到控制的端到端策略网络，推动机器人行为泛化能力的发展。

实际应用

在工业自动化场景中，该数据集可直接应用于精密装配、物流分拣等任务的算法验证。其记录的机械臂运动轨迹与视觉上下文能为智能仓储、柔性制造系统提供行为模板，通过迁移学习快速适配不同工件操作需求。基于该数据集训练的模型已成功部署于示教编程系统，实现了从演示数据到实时控制的闭环优化，大幅提升生产线的自适应能力。

衍生相关工作

以该数据集为蓝本，衍生出多项机器人学习领域的经典研究。LeRobot框架通过扩展其数据采集协议，构建了大规模分布式模仿学习基准；基于动作-观测对齐特性开发的时空注意力模型，显著提升了长时序任务的表现。后续工作进一步探索了多任务联合训练、跨域策略迁移等方向，形成了以演示数据驱动机器人技能学习的完整方法论体系。