so100_lr

该数据集使用LeRobot创建，包含了机器人的动作、状态、图像等信息。具体包括肩部、肘部、手腕和夹持器的位置数据，以及手腕上方和手腕的图像视频。数据集的结构在meta/info.json文件中定义，其中包括总剧集数、总帧数、任务数和视频数等。不过，README文件中并未提供数据集的具体描述。

原始信息汇总

数据集概述

基本信息

• 许可证: apache-2.0
• 任务类别: 机器人学 (robotics)
• 标签: LeRobot
• 配置:
  • 默认配置 (default)
  • 数据文件: data//.parquet

数据集描述

• 创建工具: LeRobot
• 主页: [无相关信息]
• 论文: [无相关信息]

数据集结构

• 代码库版本: v2.1
• 机器人类型: so100_follower
• 总集数: 1
• 总帧数: 552
• 总任务数: 1
• 总视频数: 2
• 总块数: 1
• 块大小: 1000
• 帧率 (fps): 30
• 数据分割:
  • 训练集: "0:1"
• 数据路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征

• 动作 (action):
  • 数据类型: float32
  • 形状: [6]
  • 名称: shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos
• 观测状态 (observation.state):
  • 数据类型: float32
  • 形状: [8]
  • 名称: shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos
• 观测图像 (observation.images.wrist):
  • 数据类型: video
  • 形状: [480, 640, 3]
  • 名称: height, width, channels
  • 视频信息:
    • 高度: 480
    • 宽度: 640
    • 编解码器: av1
    • 像素格式: yuv420p
    • 是否为深度图: false
    • 帧率: 30
    • 通道数: 3
    • 是否有音频: false
• 观测图像 (observation.images.above):
  • 数据类型: video
  • 形状: [480, 640, 3]
  • 名称: height, width, channels
  • 视频信息:
    • 高度: 480
    • 宽度: 640
    • 编解码器: av1
    • 像素格式: yuv420p
    • 是否为深度图: false
    • 帧率: 30
    • 通道数: 3
    • 是否有音频: false
• 时间戳 (timestamp):
  • 数据类型: float32
  • 形状: [1]
• 帧索引 (frame_index):
  • 数据类型: int64
  • 形状: [1]
• 集索引 (episode_index):
  • 数据类型: int64
  • 形状: [1]
• 索引 (index):
  • 数据类型: int64
  • 形状: [1]
• 任务索引 (task_index):
  • 数据类型: int64
  • 形状: [1]

引用

• BibTeX: [无相关信息]

搜集汇总

数据集介绍

构建方式

在机器人技术领域，高质量数据集的构建对于算法训练至关重要。so100_lr数据集依托LeRobot框架，通过采集实际机器人操作任务中的多模态数据构建而成。该数据集包含552帧数据，涵盖单次完整任务执行过程，数据以分块形式存储于Parquet格式文件中，确保高效读取与处理。

特点

该数据集展现出显著的多模态特性，同时包含机器人关节状态、腕部及顶部视角的图像视频流以及时间戳信息。动作数据以六维浮点向量表征机械臂各关节位置，观测数据则融合了480x640分辨率的三通道图像与八维状态向量，为模仿学习与强化学习提供了丰富的感知信息。

使用方法

研究人员可通过加载Parquet数据文件获取结构化观测与动作序列，利用视频路径字段访问对应视觉数据。数据集采用30fps时间同步架构，支持端到端策略学习、行为克隆等任务。训练集划分覆盖全部数据，可直接用于模型训练与验证。

背景与挑战

背景概述

在机器人学习领域，高质量数据集对算法训练至关重要。so100_lr数据集由LeRobot团队构建，专注于机械臂控制任务，通过记录六自由度机械臂的关节位置、视觉观察数据及时间戳信息，为模仿学习与强化学习提供多模态训练资源。该数据集采用Apache 2.0开源协议，其结构化设计支持机器人动作预测与环境交互研究，虽具体创建时间与核心团队信息尚未公开，但对促进机器人灵巧操作技术的进步具有潜在价值。

当前挑战

该数据集旨在解决机械臂精细控制中的动作泛化与多模态感知融合问题，其挑战包括高维连续动作空间下的策略优化、视觉-状态观测数据的对齐一致性，以及真实物理系统与仿真环境的差异补偿。构建过程中需克服多传感器同步精度、大规模视频数据压缩存储，以及机械臂运动轨迹的安全性与平滑性保障等技术难点，这些因素共同增加了数据集采集与处理的复杂性。

常用场景

经典使用场景

在机器人学习领域，so100_lr数据集为模仿学习算法提供了高质量的示范数据。该数据集通过记录机械臂执行任务时的关节位置、视觉观察和时序信息，构建了完整的动作-状态轨迹序列。研究者可基于这些多模态数据训练策略网络，使机器人能够模仿人类操作者的动作模式，实现精细化的物体抓取与放置任务。

解决学术问题

该数据集有效解决了机器人模仿学习中示范数据稀缺性问题，为行为克隆、逆强化学习等算法提供了标准化测试基准。通过提供精确的关节角度控制数据和同步的多视角视觉反馈，它支持研究者探索高维状态空间中的策略表征问题，推动了从视觉输入到动作输出的端到端学习方法的创新。

衍生相关工作

基于该数据集的特征结构，研究者开发了多种时空注意力机制的动作预测模型。这些工作改进了传统LSTM在长序列预测中的性能衰减问题，其中时空图卷积网络与Transformer的融合架构尤为突出。后续研究还衍生出基于元学习的跨任务适应方法，显著提升了策略模型的泛化能力。