adi2440/pick_place_blue_red_only

该数据集是一个机器人数据集，使用LeRobot工具创建。数据集针对SO_Follower机器人类型，包含50个episodes，总计29596帧数据。数据以parquet文件格式存储，视频文件以MP4格式存储，帧率为30fps。数据集特征包括：动作数据（6个浮点数，表示肩部平移、肩部提升、肘部弯曲、腕部弯曲、腕部旋转和夹爪位置等关节位置）、观测状态（同样为6个浮点数，表示机器人关节位置）、来自两个摄像头（camera1和camera2）的图像观测（每个摄像头提供480x640分辨率、3通道的RGB视频），以及时间戳、帧索引、episode索引、索引和任务索引等元数据。数据集仅包含训练分割，数据文件总大小为100MB，视频文件总大小为200MB。This dataset is a robotics dataset created using the LeRobot tool. It is designed for the SO_Follower robot type, containing 50 episodes with a total of 29,596 frames. The data is stored in parquet file format, and video files are in MP4 format with a frame rate of 30fps. The dataset features include: action data (6 floating-point numbers representing joint positions such as shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, and gripper positions), observation state (also 6 floating-point numbers representing robot joint positions), image observations from two cameras (camera1 and camera2, each providing RGB video at 480x640 resolution with 3 channels), and metadata such as timestamp, frame index, episode index, index, and task index. The dataset only includes a training split, with a total data file size of 100MB and a total video file size of 200MB.

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，聚焦于机器人抓取与放置操作任务，具体场景为蓝色与红色物体的分拣。数据集包含100个演示片段，总计51,806帧，由so_follower型机器人采集完成，记录了两种不同任务下的交互数据。每个片段包含六维关节动作指令（肩部、肘部、腕部及夹爪位置）与对应的机器人状态信息，同时配备双视角摄像头（camera1与camera2）以30帧/秒的帧率录制640×480分辨率的彩色视频。原始数据以parquet格式存储于分块文件中，视频则采用AV1编码压缩为MP4格式，整体数据结构紧凑，便于高效加载。

特点

数据集最显著的特点在于其多模态融合与精细标注。动作空间和状态空间均为六自由度浮点数序列，精确刻画了机械臂的关节运动与夹爪开合。双摄像头视频流提供了丰富的视觉上下文，能够捕捉物体颜色、位置及抓取过程中的细微变化。所有数据均按片段索引、帧索引和时间戳严格对齐，确保时序关联的完整性。此外，数据集的视频与数值数据分别独立存储，兼顾了视觉信息的压缩效率与高频动作数据的快速访问需求，适合用于训练基于模仿学习或强化学习的机器人操控策略。

使用方法

使用该数据集时，推荐通过LeRobot库进行加载与预处理。用户可调用其数据加载接口直接读取parquet文件中的数值特征（如动作与状态序列），并同步解码视频文件为数组形式。数据集已预设为单次训练划分（0至100片段），无需额外拆分。在模型训练中，可将六维动作向量作为预测目标，联合图像与状态信息作为输入，构建端到端的视觉运动策略。若需扩展任务，可依据task_index字段筛选特定操作类型的数据，灵活适配于机器人模仿学习或离线强化学习的实验流程。

背景与挑战

背景概述

该数据集由LeRobot框架构建，旨在为机器人操控任务提供标准化训练数据。研究聚焦于“拾取与放置”（pick-and-place）这一基础但关键的机器人操作技能，特别限定在蓝红两色物体的场景中，以简化环境复杂度并聚焦于核心的抓取与定位能力。数据集包含100个演示片段，共计51806帧，覆盖两个子任务，由具备6自由度臂与夹爪的“so_follower”机器人执行，通过双视角摄像头记录视觉与状态-动作序列。作为LeRobot生态的一部分，该数据集服务于模仿学习与机器人操控研究，推动可复现的基准评估与算法开发，对机器人学习领域具有基础性的贡献。

当前挑战

该数据集所应对的领域挑战在于，机器人拾取与放置任务虽在结构环境中看似简单，却涉及精确的物体识别、姿态估计与力控制，尤其在目标物体颜色单一（蓝红）时需避免颜色混淆与背景干扰。构建过程中，挑战主要体现在数据采集的连续性——保持30帧/秒的稳定录制，任务切换的平滑性，以及每段轨迹与动作状态（6维关节位置与夹爪状态）的同步对齐。此外，面对有限演示（100集），如何确保数据多样性以支撑泛化性，避免过拟合于特定物体摆放模式，亦是该数据集需要克服的重要难题。

常用场景

经典使用场景

在机器人操作领域，pick_place_blue_red_only数据集为模仿学习和强化学习研究提供了基础性的基准测试平台。该数据集聚焦于颜色区分下的抓取与放置任务，涵盖蓝、红两种颜色物体的操作轨迹，共包含100个完整演示片段。研究者可利用其高精度六维关节状态、末端执行器夹爪位置以及双视角视觉图像，训练机器人从像素到动作的端到端策略。经典的场景包括基于行为克隆的训练范式，其中模型通过学习专家演示中的状态-动作映射，完成对目标物体的识别、抓取与精准安放。该数据集因其任务明确、环境可控且难度适中，常被用于评估机器人学习算法的泛化能力与样本效率。

解决学术问题

该数据集在学术上主要解决了机器人操作任务中数据稀缺与可复现性不足的难题。通过提供标准化、标注完善且包含视觉与本体感知模态的演示数据，研究者得以系统性地探究颜色属性对抓取策略的影响机制。其关键意义在于：首先，为物体视觉特征（如颜色）与操作动作之间的耦合关系研究提供了量化分析基础；其次，支持了从感知到控制的端到端学习范式验证，推动了机器人学习领域从手工设计规则向数据驱动方法的转变。该数据集的影响体现在成为评估模仿学习、逆强化学习等主流算法性能的参照基准，促进了学术社区内研究结果的横向对比与复现。

衍生相关工作

围绕此数据集涌现出一系列富有影响力的研究成果。基于该数据的端到端模仿学习工作展示了通过卷积神经网络与Transformer架构处理双视角图像与关节状态融合的可行性，催生了多模态感知-动作联合建模的研究方向。部分工作利用该数据集验证了数据增强技术与对抗训练在提升策略鲁棒性方面的效能，推动了样本效率优化方法的发展。此外，该数据还启发了逆向强化学习领域关于奖励函数隐式推断的研究，通过分析专家演示中的颜色偏好与抓取决策逻辑，构建更贴合人类操作习惯的机器人行为模型。这些衍生工作共同构筑了从仿真数据采集到现实任务部署的完整研究链条。