so100_filtered_pick_green_grey

这是一个关于机器人操作的数据集，包含74个剧集，44125帧图像，共148个视频，数据集按照Apache-2.0许可发布。数据集包含多种特征，如机器人的动作、状态、以及两个视角（笔记本电脑和手机）的图像信息。每个片段包含1000帧数据，数据集的帧率为30fps。

This is a robotic manipulation dataset consisting of 74 episodes, 44,125 image frames, and a total of 148 videos. The dataset is released under the Apache-2.0 license. It includes multiple features such as robot actions, states, and image information from two perspectives (laptop and mobile phone). Each segment contains 1000 frames of data, and the frame rate of the dataset is 30 fps.

原始信息汇总

数据集概述

基本信息

• 许可证: Apache-2.0
• 任务类别: 机器人学 (robotics)
• 标签: LeRobot
• 代码库版本: v2.1
• 机器人类型: so100

数据集结构

• 总集数: 74
• 总帧数: 44125
• 总任务数: 1
• 总视频数: 148
• 总块数: 1
• 块大小: 1000
• 帧率 (fps): 30
• 数据路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征

动作 (action)

• 数据类型: float32
• 形状: [6]
• 名称:
  • main_shoulder_pan
  • main_shoulder_lift
  • main_elbow_flex
  • main_wrist_flex
  • main_wrist_roll
  • main_gripper

观测状态 (observation.state)

• 数据类型: float32
• 形状: [6]
• 名称: 同动作特征

观测图像 (observation.images)

笔记本电脑图像 (laptop)

• 数据类型: video
• 形状: [480, 640, 3]
• 视频信息:
  • 高度: 480
  • 宽度: 640
  • 编解码器: av1
  • 像素格式: yuv420p
  • 非深度图
  • 帧率: 30
  • 通道数: 3
  • 无音频

手机图像 (phone)

• 数据类型: video
• 形状: [480, 640, 3]
• 视频信息: 同笔记本电脑图像

其他特征

• 时间戳 (timestamp): float32, 形状 [1]
• 帧索引 (frame_index): int64, 形状 [1]
• 集索引 (episode_index): int64, 形状 [1]
• 索引 (index): int64, 形状 [1]
• 任务索引 (task_index): int64, 形状 [1]

分割

• 训练集: 0:74

引用

• BibTeX: [More Information Needed]

搜集汇总

数据集介绍

构建方式

在机器人操作任务数据采集领域，so100_filtered_pick_green_grey数据集依托LeRobot平台构建，采用结构化数据组织方式。数据集包含74个完整任务片段，总计44125帧数据，以30帧每秒的速率采集。数据以分块形式存储于Parquet文件中，每个数据块容量为1000帧，确保了高效的数据访问与管理。采集过程中同步记录了机器人关节状态、多视角图像及时间戳信息，为机器人学习研究提供了丰富的多模态数据基础。

使用方法

研究人员可通过解析Parquet数据文件直接访问结构化数据，利用帧索引与片段索引实现精确的数据定位。数据集已预划分为训练集，涵盖全部74个任务片段，支持机器人强化学习与模仿学习算法的训练验证。多模态数据可通过特征字典键值访问，其中动作向量与状态观测保持维度对齐，视觉数据提供双视角互补信息。时间戳与帧索引的完整记录便于时序建模算法的实施，为机器人操作策略的离线学习与在线验证提供完整数据支持。

背景与挑战

背景概述

so100_filtered_pick_green_grey数据集是机器人学习领域的一项专业资源，由LeRobot项目团队构建，旨在推动机器人操作任务的研究进展。该数据集聚焦于机械臂的抓取动作，特别是针对绿色和灰色物体的识别与拾取，涵盖了74个完整操作序列和超过44000帧的多模态数据。通过整合关节状态、视觉观测和时间戳信息，它为模仿学习与强化学习算法提供了丰富的训练素材，有助于提升机器人在复杂环境中的自主决策能力。

当前挑战

该数据集致力于解决机器人操作中基于视觉的物体抓取这一核心挑战，其难点在于如何从多视角图像中稳定提取物体特征并生成精确的动作轨迹。构建过程中面临数据对齐与标注的复杂性，需同步处理来自笔记本电脑和手机的双路视频流，并确保动作指令与观测状态的时间一致性。此外，高维动作空间的控制精度要求以及真实场景下的光照、遮挡变化进一步增加了数据采集与清洗的难度。

常用场景

经典使用场景

在机器人操作学习领域，so100_filtered_pick_green_grey数据集通过记录六自由度机械臂执行抓取任务的多模态数据，为模仿学习算法的训练提供了丰富素材。该数据集包含74个完整操作序列，每个序列均配备双视角视觉观测与关节动作轨迹，能够有效支持端到端策略网络的构建。研究者可基于该数据集训练机械臂从视觉输入到动作输出的映射模型，实现物体抓取任务的自动化执行。

解决学术问题

该数据集主要针对机器人操作中视觉-动作协同建模的学术难题，通过提供精确的时间对齐多模态数据，解决了动态环境下动作预测的监督信号缺失问题。其包含的关节角度状态与双视角视频流，为研究视觉特征提取与运动规划之间的关联性提供了实验基础，显著推进了基于视觉的强化学习与行为克隆方法在复杂操作任务中的应用深度。

实际应用

工业自动化场景中，该数据集可直接用于训练装配线上的机械臂抓取系统。通过模拟真实环境中的物体抓取过程，能够提升机械臂对绿色与灰色物体的识别鲁棒性。双摄像头配置的数据结构尤其适用于需要多视角协调的精密操作场景，如电子元件装配、物流分拣等实际工业应用，有效降低人工示教成本。

数据集最近研究

最新研究方向

在机器人学习领域，so100_filtered_pick_green_grey数据集正推动多模态感知与强化学习的深度融合。该数据集通过整合机械臂关节状态与双视角视觉数据，为模仿学习和离线强化学习算法提供了丰富训练资源。当前研究热点聚焦于跨模态表示对齐，利用视频序列与动作轨迹的时序关联提升策略泛化能力。随着具身智能兴起，此类真实世界交互数据在模拟到真实迁移、少样本适应等前沿方向展现出关键价值，为机器人自主操作系统的可扩展性奠定基础。