so100_pick

该数据集使用LeRobot创建，包含了一个机器人的动作和状态数据，以及从两个摄像头捕获的图像。数据集共有25个剧集，3763个帧，50个视频，分为1个块，每个块包含1000个数据点。提供了行动、状态和两种摄像头图像（机械臂摄像头和顶部摄像头）的特征。所有数据均以Parquet格式存储，视频以AV1编码的MP4格式存储。训练数据集包含了所有的剧集。

原始信息汇总

数据集概述

基本信息

• 许可证: apache-2.0
• 任务类别: robotics
• 标签: LeRobot, so100

数据集描述

• 创建工具: LeRobot
• 主页: [More Information Needed]
• 论文: [More Information Needed]

数据集结构

• 数据文件: data//.parquet
• 代码库版本: v2.1
• 机器人类型: so100
• 总集数: 25
• 总帧数: 3763
• 总任务数: 1
• 总视频数: 50
• 总块数: 1
• 块大小: 1000
• 帧率: 30 fps
• 分割: train (0:25)

数据路径

• 数据路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征

• action:
  • dtype: float32
  • shape: [6]
  • 名称: main_shoulder_pan, main_shoulder_lift, main_elbow_flex, main_wrist_flex, main_wrist_roll, main_gripper
• observation.state:
  • dtype: float32
  • shape: [6]
  • 名称: 同action
• observation.images.arm_camera:
  • dtype: video
  • shape: [480, 640, 3]
  • 视频信息:
    • 高度: 480
    • 宽度: 640
    • 编解码器: av1
    • 像素格式: yuv420p
    • 非深度图
    • 帧率: 30 fps
    • 通道数: 3
    • 无音频
• observation.images.top_camera:
  • dtype: video
  • shape: [480, 640, 3]
  • 视频信息: 同arm_camera
• timestamp:
  • dtype: float32
  • shape: [1]
• frame_index:
  • dtype: int64
  • shape: [1]
• episode_index:
  • dtype: int64
  • shape: [1]
• index:
  • dtype: int64
  • shape: [1]
• task_index:
  • dtype: int64
  • shape: [1]

引用

• BibTeX: [More Information Needed]

搜集汇总

数据集介绍

构建方式

so100_pick数据集依托LeRobot开源框架构建，采用模块化设计理念，通过机器人操作任务的实际执行过程采集数据。数据以30fps的采样频率记录了25个完整操作序列，包含3763帧多维传感器数据，采用Apache-2.0协议进行开源。技术实现上采用分块存储策略，每个数据块包含1000帧记录，以Parquet格式高效存储动作指令、关节状态及双视角视觉数据。

特点

该数据集显著特征体现在多模态数据融合，同时包含6自由度机械臂的关节角度控制指令和实时状态反馈，配合480×640分辨率双摄像头（顶部视角与机械臂视角）的同步视频流。数据结构设计科学，通过时间戳、帧序号等多维度索引确保时序一致性，动作空间与状态空间采用同名参数体系，便于闭环控制算法的开发验证。

使用方法

使用者可通过解析Parquet文件获取结构化数据，配合配套视频文件进行多模态分析。数据集默认划分为训练集（25个完整episode），适用于机器人抓取任务的模仿学习、强化学习等算法开发。各数据字段包含明确维度说明与数据类型标注，建议结合LeRobot框架提供的工具链进行数据加载与预处理，注意视频数据采用AV1编码格式需对应解码器支持。

背景与挑战

背景概述

so100_pick数据集是机器人学领域的一项专业数据集，由LeRobot团队基于Apache 2.0开源协议构建。该数据集聚焦于机械臂操作任务，特别针对so100型机械臂的抓取动作进行了系统化数据采集。数据集包含25个完整操作序列，3763帧多模态数据，涵盖机械臂关节状态、双视角视觉输入（顶部摄像头与机械臂摄像头）及时间戳等关键信息。数据采集以30fps的帧率同步记录机械臂的六自由度动作参数与视觉反馈，为机器人动作学习与视觉伺服控制研究提供了标准化基准。

当前挑战

该数据集面临的核心挑战体现在两个维度：在领域问题层面，机械臂的精确抓取需要解决高维连续动作空间与视觉感知的实时对齐问题，现有数据尚未覆盖复杂场景下的动态物体抓取；在构建过程中，多传感器数据同步、机械臂动作噪声过滤以及大规模视频数据的高效存储（采用AV1编码的480p视频流）构成了主要技术瓶颈。此外，数据集目前仅包含单一任务类型，样本多样性不足可能限制其在跨任务迁移学习中的应用价值。

常用场景

经典使用场景

在机器人控制领域，so100_pick数据集为研究机械臂抓取任务提供了丰富的多模态数据。该数据集记录了机械臂执行抓取动作时的关节角度、摄像头图像和时间戳等信息，为模仿学习和强化学习算法的训练与验证提供了标准化的实验平台。研究者可通过分析机械臂的关节运动轨迹与视觉反馈的对应关系，探索机器人控制策略的优化方法。

衍生相关工作

该数据集已催生多项机器人学习领域的重要研究，包括基于Transformer的视觉-动作预测模型和分层强化学习框架。部分工作利用其多模态特性开发了跨模态表征学习方法，另一些研究则专注于时序动作预测精度的提升。这些衍生成果显著推动了机器人技能学习领域的方法创新。

数据集最近研究

最新研究方向

在机器人操作领域，so100_pick数据集因其包含丰富的机械臂动作数据和多视角视觉信息，正成为模仿学习与强化学习研究的热点。该数据集通过LeRobot平台采集，记录了SO100型机械臂的关节角度、夹爪状态及双摄像头视频流，为研究多模态感知与动作生成的协同优化提供了重要基准。近期研究聚焦于如何利用其高维连续动作空间和同步视觉观测，开发端到端的抓取策略生成模型，特别是在少样本迁移学习和跨任务泛化方面展现出潜力。随着具身智能的兴起，该数据集在模拟真实世界物理交互、提升机器人自主操作能力方面的价值正被广泛探索。