so100_pick_items_v2

该数据集是一个与机器人学相关的数据集，用于机器人任务，如捡物品等。数据集包含了20个 episodes，共8979帧，1个任务，40个视频和1个数据块，每个数据块大小为1000。数据集的结构详细描述了动作、观察状态、视频信息等特征，并提供了相应的路径和元数据信息。数据集使用 Apache-2.0 许可。

This is a robotics-related dataset developed for robotic tasks such as object picking. It contains 20 episodes, with a total of 8979 frames, 1 task, 40 videos, and 1 data chunk, where each data chunk has a size of 1000. The dataset's structure provides detailed descriptions of features including actions, observation states, video information and other relevant attributes, as well as corresponding path and metadata information. This dataset is licensed under the Apache-2.0 license.

原始信息汇总

数据集概述

基本信息

• 名称: so100_pick_items_v2
• 许可证: Apache-2.0
• 任务类别: 机器人学 (robotics)
• 标签: LeRobot, so100, pick_items

数据集描述

• 创建工具: LeRobot
• 主页: 无提供
• 论文: 无提供

数据集结构

• 配置名称: default
• 数据文件: data//.parquet
• 元数据文件: meta/info.json

元数据详情

• 代码库版本: v2.1
• 机器人类型: so100
• 总集数: 20
• 总帧数: 8979
• 总任务数: 1
• 总视频数: 40
• 总块数: 1
• 块大小: 1000
• 帧率 (fps): 30
• 数据分割:
  • 训练集: 0:20

数据路径

• 数据路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征

• 动作 (action):
  • 数据类型: float32
  • 形状: [6]
  • 名称: main_shoulder_pan, main_shoulder_lift, main_elbow_flex, main_wrist_flex, main_wrist_roll, main_gripper
• 观测状态 (observation.state):
  • 数据类型: float32
  • 形状: [6]
  • 名称: 同动作特征
• 观测图像 (observation.images.laptop 和 observation.images.phone):
  • 数据类型: video
  • 形状: [480, 640, 3]
  • 名称: height, width, channels
  • 视频信息:
    • 帧率: 30.0
    • 分辨率: 480x640
    • 通道数: 3
    • 编解码器: av1
    • 像素格式: yuv420p
    • 是否为深度图: false
    • 是否包含音频: false
• 其他特征:
  • timestamp: float32, [1]
  • frame_index: int64, [1]
  • episode_index: int64, [1]
  • index: int64, [1]
  • task_index: int64, [1]

引用

• BibTeX: 无提供

搜集汇总

数据集介绍

构建方式

在机器人操作领域，so100_pick_items_v2数据集通过LeRobot平台精心构建，采用先进的实验设备记录机械臂执行物品抓取任务的全过程。该数据集包含20个完整操作序列，共计8979帧数据，以30fps的帧率采集，并以parquet格式高效存储。数据采集过程中同步记录了6自由度机械臂的关节角度、夹持器状态以及双视角视觉信息，通过严格的时序对齐确保多模态数据的精确匹配。

使用方法

研究人员可通过加载parquet文件直接访问结构化数据，其中动作指令、关节状态和视觉数据已按帧索引对齐。配套的40段视频文件与传感器数据严格同步，支持对机器人操作策略的端到端分析。数据集默认划分为训练集，涵盖全部20个操作序列，用户可根据需要提取特定关节参数或视觉帧进行运动学分析、模仿学习等研究。视频解码建议使用支持AV1的库处理，以确保流畅播放。

背景与挑战

背景概述

so100_pick_items_v2数据集由LeRobot团队构建，专注于机器人操作任务领域。该数据集记录了SO100型机械臂执行物品抓取任务时的多模态数据，包含20个完整操作序列、8979帧视频数据及对应的6自由度关节控制指令。通过整合机械臂状态参数与双视角视觉信息，该数据集为机器人动作模仿学习与视觉运动策略研究提供了重要基准。其采用Apache 2.0开源协议，数据以标准化Parquet格式存储，支持高效的大规模机器学习训练。

当前挑战

该数据集主要解决机器人操作任务中视觉-动作协同建模的挑战，具体包括高维连续动作空间的控制精度问题、多视角视觉观测的时空对齐难题。在构建过程中面临机械臂运动轨迹的噪声抑制、双摄像头同步采集的技术实现、以及长时序操作任务的数据标注等困难。30fps的视频流与6维动作指令的精确匹配，对数据采集系统的实时性提出了严格要求。

常用场景

经典使用场景

在机器人操作任务的研究中，so100_pick_items_v2数据集被广泛应用于机械臂抓取和物品操控的算法开发。该数据集记录了机械臂执行抓取任务时的关节角度、末端执行器状态以及多视角视频数据，为研究人员提供了丰富的机器人操作行为数据。通过分析这些数据，可以深入理解机械臂在复杂环境下的运动规划和控制策略。

解决学术问题

该数据集有效解决了机器人操作任务中缺乏高质量、多样化数据的问题。通过提供精确的机械臂状态信息和同步的多视角视频，研究人员能够深入研究机器人操作中的运动规划、抓取策略和环境感知等关键问题。这对于推动机器人操作算法的理论研究和实际应用具有重要意义，填补了该领域数据集的空白。

实际应用

在实际应用中，so100_pick_items_v2数据集可用于开发智能仓储、工业自动化等场景中的机器人操作系统。基于该数据集训练的算法可以优化机械臂的抓取精度和效率，提升在复杂环境下的操作性能。这些技术可直接应用于物流分拣、生产线装配等实际工业场景，提高自动化水平。

数据集最近研究

最新研究方向

在机器人操作领域，so100_pick_items_v2数据集因其专注于物品抓取任务而备受关注。该数据集通过LeRobot平台生成，包含了丰富的机械臂动作数据和多视角视觉信息，为研究机器人精细操作提供了重要支持。近年来，随着深度学习在机器人控制中的广泛应用，该数据集被用于探索基于视觉的端到端抓取策略、多模态感知融合以及模仿学习等前沿方向。特别是在模拟到真实世界迁移学习的研究中，该数据集的高质量动作-观测对为算法验证提供了可靠基准。同时，数据集包含的时序视频数据也为研究机器人操作中的时序依赖关系开辟了新途径。