so101_test

这是一个机器人操作数据集，包含了机器人的动作、状态以及从两个视角捕获的视频图像。数据集共有2个剧集，1789个帧，4个视频和1个数据块，每个数据块的大小为1000帧。数据集的帧率是30fps，并且目前只划分了训练集。

原始信息汇总

数据集概述

基本信息

• 许可证: apache-2.0
• 任务类别: robotics
• 标签: LeRobot, so101, tutorial

数据集描述

• 主页: [More Information Needed]
• 论文: [More Information Needed]
• 创建工具: LeRobot

数据集结构

• 配置名称: default
• 数据文件: data//.parquet
• 元数据文件: meta/info.json

元数据详情

• 代码库版本: v2.1
• 机器人类型: so101
• 总集数: 2
• 总帧数: 1789
• 总任务数: 1
• 总视频数: 4
• 总块数: 1
• 块大小: 1000
• 帧率: 30 fps
• 分割:
  • 训练集: 0:2
• 数据路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征

• action:
  • 数据类型: float32
  • 形状: [6]
  • 名称: main_shoulder_pan, main_shoulder_lift, main_elbow_flex, main_wrist_flex, main_wrist_roll, main_gripper
• observation.state:
  • 数据类型: float32
  • 形状: [6]
  • 名称: main_shoulder_pan, main_shoulder_lift, main_elbow_flex, main_wrist_flex, main_wrist_roll, main_gripper
• observation.images.laptop:
  • 数据类型: video
  • 形状: [480, 640, 3]
  • 名称: height, width, channels
  • 信息:
    • video.height: 480
    • video.width: 640
    • video.codec: av1
    • video.pix_fmt: yuv420p
    • video.is_depth_map: false
    • video.fps: 30
    • video.channels: 3
    • has_audio: false
• observation.images.phone:
  • 数据类型: video
  • 形状: [480, 640, 3]
  • 名称: height, width, channels
  • 信息:
    • video.height: 480
    • video.width: 640
    • video.codec: av1
    • video.pix_fmt: yuv420p
    • video.is_depth_map: false
    • video.fps: 30
    • video.channels: 3
    • has_audio: false
• timestamp:
  • 数据类型: float32
  • 形状: [1]
  • 名称: null
• frame_index:
  • 数据类型: int64
  • 形状: [1]
  • 名称: null
• episode_index:
  • 数据类型: int64
  • 形状: [1]
  • 名称: null
• index:
  • 数据类型: int64
  • 形状: [1]
  • 名称: null
• task_index:
  • 数据类型: int64
  • 形状: [1]
  • 名称: null

引用

• BibTeX: [More Information Needed]

搜集汇总

数据集介绍

构建方式

在机器人技术领域，数据采集的精确性和系统性至关重要。so101_test数据集通过LeRobot平台构建，采用模块化数据存储方案，将1789帧机器人操作数据以Parquet格式分块存储。数据集包含2个完整操作序列，每个序列以30fps的采样频率记录，涵盖6自由度机械臂的关节角度状态、双视角视觉数据（笔记本电脑和手机摄像头）以及精确的时间戳信息。数据采集过程严格遵循标准化协议，确保动作指令与传感器读数的时间同步性。

特点

该数据集在机器人操作学习领域展现出多维度的技术特征。其核心价值在于提供机械臂关节空间的全参数记录，包含肩部平移/旋转、肘部弯曲等6个自由度的连续动作轨迹。视觉模态方面，同步采集的480×640分辨率双视角RGB视频，为多视角动作理解提供丰富信息。数据结构采用层次化设计，通过帧索引、任务索引等多级标识符实现高效检索。特别值得注意的是，所有视频流采用AV1编解码器压缩，在保证画质的同时显著降低存储需求。

使用方法

研究人员可通过HuggingFace平台直接访问该数据集，其标准化Parquet格式兼容主流数据分析工具。典型使用流程包括：加载指定分块数据后，利用帧索引重建操作序列的时间连续性；通过特征字典键名（如observation.images.laptop）访问特定传感器数据；结合动作指令与关节状态数据可进行逆运动学分析。对于机器学习应用，建议以30fps时间窗对齐视觉帧与动作指令，构建端到端的操作策略训练样本。视频数据需通过专用解码器处理，其元数据中包含详细的像素格式和编解码信息。

背景与挑战

背景概述

so101_test数据集是由LeRobot项目团队构建的机器人领域专用数据集，采用Apache-2.0开源协议发布。该数据集聚焦于机械臂控制与多模态感知研究，通过记录so101型机械臂的关节状态、执行动作及多视角视觉观测数据，为机器人模仿学习与强化学习算法提供基准测试平台。数据集包含1789帧时序数据，涵盖6自由度机械臂的运动控制参数及480p双视角视频流，其结构化存储格式与详尽的元数据标注体现了现代机器人学研究对高精度、多模态数据的需求。

当前挑战

该数据集面临的核心挑战主要体现在两方面：在领域问题层面，如何准确建模机械臂多关节协同运动与视觉感知的时空关联性，仍需解决高维连续动作空间下的样本效率问题；在构建过程层面，双视角视频流与机械臂状态数据的精确同步、大规模时序数据的分块存储优化，以及动作指令与视觉观测的跨模态对齐，均为数据采集与标注过程中的技术难点。当前数据规模仅包含2个训练片段，在算法泛化性验证方面存在明显局限性。

常用场景

经典使用场景

在机器人控制与学习领域，so101_test数据集为研究人员提供了一个标准化的测试平台，用于验证和评估机器人动作规划算法的性能。该数据集记录了so101型机器人在执行特定任务时的动作指令、状态观测以及多视角视频数据，为算法开发提供了丰富的多模态输入。通过模拟真实场景下的机器人操作，研究者能够深入分析机械臂在复杂环境中的运动控制策略。

衍生相关工作

基于该数据集的特征结构，已有研究团队开发了多种机器人学习框架。典型工作包括基于时空注意力机制的动作预测模型、多模态融合的状态估计算法，以及用于机械臂控制的深度强化学习系统。这些衍生研究显著推动了机器人感知与控制一体化的发展，为智能工厂和柔性制造系统提供了技术基础。

数据集最近研究

最新研究方向

在机器人学领域，so101_test数据集因其多模态特性正成为研究热点。该数据集整合了机械臂关节状态、视觉观测和时间序列数据，为模仿学习与强化学习算法提供了丰富的训练素材。当前前沿研究聚焦于跨模态表征学习，探索如何有效融合高维视频流与低维动作空间数据以提升策略泛化能力。随着LeRobot开源生态的完善，该数据集在sim-to-real迁移、多任务策略蒸馏等方向展现出独特价值，尤其在工业场景的精细操作任务中具有重要应用潜力。