research_pick_up_the_light_green_rectangular_board

该数据集使用LeRobot创建，涉及机器人技术领域。数据集包含20个episode，总计11433帧，存储在parquet文件中，并附有视频文件。数据集的结构包括动作、观察（状态和来自顶部和侧面的图像）、时间戳和各种索引。具体特征包括机器人关节位置、两个摄像机角度的图像，以及用于跟踪帧和episode的各种索引。

原始信息汇总

数据集概述

基本信息

• 数据集名称： research_pick_up_the_light_green_rectangular_board
• 创建工具： LeRobot
• 许可协议： Apache-2.0
• 任务类别： 机器人学
• 标签： LeRobot

数据集规模

• 总情节数： 20
• 总帧数： 11433
• 总任务数： 1
• 数据文件大小： 100 MB
• 视频文件大小： 200 MB
• 帧率： 30 FPS

数据结构

• 数据格式： Parquet
• 数据文件路径模式： data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件路径模式： videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4
• 块大小： 1000
• 数据划分： 训练集（索引 0 至 20）

特征字段

• action：
  • 数据类型：float32
  • 形状：[6]
  • 名称：shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos
• observation.state：
  • 数据类型：float32
  • 形状：[6]
  • 名称：shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos
• observation.images.top：
  • 数据类型：video
  • 形状：[480, 640, 3]
  • 名称：height, width, channels
  • 视频信息：
    • 高度：480
    • 宽度：640
    • 编解码器：av1
    • 像素格式：yuv420p
    • 是否为深度图：否
    • 帧率：30
    • 通道数：3
    • 包含音频：否
• observation.images.side：
  • 数据类型：video
  • 形状：[480, 640, 3]
  • 名称：height, width, channels
  • 视频信息：
    • 高度：480
    • 宽度：640
    • 编解码器：av1
    • 像素格式：yuv420p
    • 是否为深度图：否
    • 帧率：30
    • 通道数：3
    • 包含音频：否
• timestamp：
  • 数据类型：float32
  • 形状：[1]
• frame_index：
  • 数据类型：int64
  • 形状：[1]
• episode_index：
  • 数据类型：int64
  • 形状：[1]
• index：
  • 数据类型：int64
  • 形状：[1]
• task_index：
  • 数据类型：int64
  • 形状：[1]

其他信息

• 代码库版本： v3.0
• 机器人类型： so101_follower
• 主页： 未提供
• 论文： 未提供
• 引用信息： 未提供

搜集汇总

数据集介绍

构建方式

在机器人操作学习领域，数据集的构建方式直接影响模型的泛化能力。该数据集依托LeRobot平台，通过SO101型跟随机器人执行拾取浅绿色矩形板的任务，系统采集了20个完整操作序列，共计11433帧数据。数据以分块形式存储于Parquet文件中，每块包含1000帧，同时配有同步录制的双视角视频，帧率为30fps，确保了动作与观测数据的高精度对齐。

特点

该数据集在机器人操作数据集中展现出鲜明的多模态特性，不仅包含六自由度机械臂的关节位置动作与状态观测，还整合了顶部与侧方双路视觉信息。视频数据采用AV1编码，分辨率达640x480，为模型提供了丰富的空间感知线索。数据集结构设计严谨，通过时间戳、帧索引与回合索引等多维度标注，支持精细化的时序分析与任务拆解。

使用方法

研究者可利用该数据集进行机器人模仿学习与强化学习算法的训练与验证。数据以标准Parquet格式组织，便于通过LeRobot工具链直接加载。训练时可按分块读取，高效处理大规模视频与状态序列；双路图像可作为视觉编码器的输入，关节数据则用于动作预测或策略评估。数据集已预设训练集划分，覆盖全部20个回合，适用于端到端操作策略的建模。

背景与挑战

背景概述

在机器人操作学习领域，模仿学习与强化学习等方法依赖于高质量、大规模的真实世界交互数据。research_pick_up_the_light_green_rectangular_board数据集应运而生，旨在为机器人抓取与操作特定物体——即浅绿色矩形板——提供示范轨迹。该数据集由LeRobot平台构建，采用了so101_follower型机器人，共包含20条完整交互序列、超过11000帧的多模态观测数据，涵盖关节状态、双视角视觉信息及对应动作指令。其核心研究问题聚焦于如何从有限的真实演示中学习鲁棒且泛化的操作策略，以推动具身智能在非结构化环境中的实际应用。尽管创建时间与具体机构信息尚未公开，但该数据集遵循Apache 2.0开源协议，为机器人社区贡献了结构化的示范资源，有望促进模仿学习、离线强化学习等算法的实证研究。

当前挑战

该数据集致力于解决机器人操作任务中模仿学习的核心挑战，即如何从高维、多模态的演示数据中提取可泛化的技能表示。具体而言，其面临的领域问题挑战包括：在动态与非结构化环境中，机器人需从有限的视觉与状态观测中理解物体属性（如浅绿色矩形板的形状、材质与位置），并生成精确、稳定的抓取与搬运动作序列；同时，数据中存在的传感器噪声、动作延迟以及环境变化等因素，对策略的鲁棒性与适应性提出了更高要求。在构建过程中，挑战主要源于真实世界数据采集的复杂性：需确保双视角视频（顶部与侧面）的时空同步，协调高维关节状态与图像帧的精确对齐，并处理大规模序列数据的存储与高效访问（如采用分块Parquet格式），同时维持数据集的规模与多样性平衡。

常用场景

经典使用场景

在机器人操作任务的研究中，该数据集为机器人学习拾取浅绿色矩形板这一特定动作提供了丰富的多模态数据。其经典使用场景在于训练机器人模仿学习模型，通过整合关节位置状态与多视角视觉观测，使机器人能够理解并复现复杂的抓取动作序列。数据集的结构化设计支持端到端策略学习，为机器人自主执行精细操作任务奠定了数据基础。

实际应用

在实际应用层面，该数据集可直接服务于工业自动化与物流分拣场景。基于数据训练的模型能够指导机械臂完成对特定颜色与形状物体的识别与抓取，提升生产线上的灵活性与效率。此外，在服务机器人领域，此类数据有助于开发家庭助理机器人的物品整理能力，推动机器人从结构化环境向更广泛日常场景的实用化迈进。

衍生相关工作

围绕该数据集，已衍生出多项经典研究工作，主要集中在视觉-动作联合建模与离线强化学习领域。例如，利用其多视角视频序列改进基于Transformer的行为克隆架构，或结合其状态-动作对开发保守Q学习算法以提升策略安全性。这些工作不仅验证了数据集的质量，也拓展了其在机器人学习中的方法论边界，催生了更高效、更稳定的操作策略生成技术。