red_blue_v3_20260904_172819

该数据集是使用 LeRobot 框架创建的机器人操作数据集，旨在支持机器人模仿学习、强化学习等任务。数据集包含 60 个 episode，共 49783 帧，涉及 1 个任务。机器人类型为 so_follower。数据特征包括：动作（6 维浮点数组，对应肩部旋转、肩部升降、肘部弯曲、腕部弯曲、腕部滚动、夹爪位置）、观察状态（与动作同维度的关节位置）、两个摄像头视角的图像（gripper 和 top，分辨率 480x640，3 通道，30fps，AV1 编码的视频）、时间戳、帧索引、episode 索引、索引以及任务索引。数据以 Parquet 格式存储，视频以 MP4 格式存储。训练集包含全部 60 个 episode。This dataset is a robot manipulation dataset created using the LeRobot framework, designed to support robot imitation learning, reinforcement learning, and other tasks. The dataset contains 60 episodes with a total of 49,783 frames, involving 1 task. The robot type is so_follower. Data features include: actions (6-dimensional float arrays corresponding to shoulder rotation, shoulder lift, elbow bend, wrist bend, wrist roll, gripper position), observation states (joint positions with the same dimension as actions), images from two camera views (gripper and top, resolution 480x640, 3 channels, 30fps, AV1 encoded video), timestamps, frame indices, episode indices, indices, and task indices. The data is stored in Parquet format, and videos are stored in MP4 format. The training set includes all 60 episodes.

原始信息汇总

数据集详情总结

基本信息

• 数据集名称: red_blue_v3_20260904_172819
• 许可证: Apache-2.0
• 任务类别: 机器人学（robotics）
• 标签: LeRobot
• 创建工具: 该数据集使用 LeRobot 创建，属于 LeRobot 格式的机器人数据。

数据规模

• 总片段数（Episodes）: 60
• 总帧数: 49,783
• 总任务数: 1
• 采集帧率: 30 FPS
• 数据路径: 数据存储为 Parquet 格式，路径为 data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频路径: 视频存储为 MP4 格式，路径为 videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4
• 数据分割: 训练集包含全部60个片段（0:60）

数据特征

动作与状态（Action & State）

• 包含6个维度的关节控制信息，数据类型为 float32
• 特征包括：
  • shoulder_pan.pos（肩部旋转）
  • shoulder_lift.pos（肩部升降）
  • elbow_flex.pos（肘部屈伸）
  • wrist_flex.pos（腕部屈伸）
  • wrist_roll.pos（腕部旋转）
  • gripper.pos（夹爪位置）

视觉观测（Images）

数据集包含两个摄像头视角的视觉数据：

1. gripper 视角：分辨率 480×640×3，AV1 编码视频
2. top 视角（顶部视角）：分辨率 480×640×3，AV1 编码视频

其他辅助特征

• timestamp: 时间戳
• frame_index: 帧索引
• episode_index: 片段索引
• index: 全局索引
• task_index: 任务索引

技术规格

• 机器人类型: so_follower（跟随机器人）
• 代码版本: LeRobot v3.0
• 数据文件大小: 约100 MB
• 视频文件大小: 约200 MB
• 视频编码: AV1（MP4容器），每帧30 FPS，无音频

可视化

该数据集支持通过 LeRobot 可视化工具在 Hugging Face Space 上进行数据预览。

搜集汇总

数据集介绍

构建方式

该数据集由LeRobot平台精心构建，旨在为机器人操控任务提供高质量的模仿学习样本。数据采集依托于SO-100型机械臂，通过远程操控或自动演示，记录了机械臂在红蓝物体抓取与放置任务中的完整动作序列。每个样本以30帧每秒的频率同步采集，包含机械臂各关节的位置参数（如肩关节、肘关节等的角度与夹爪状态）以及视觉信息。视觉数据由顶部摄像头和夹爪摄像头共同摄取，图像分辨率为640×480像素，采用AV1编码压缩存储以确保数据密度的同时兼顾传输效率。全部数据被封存为60个episode，每个episode代表一次完整的任务执行过程，共包含49783帧，这些帧通过Parquet格式进行结构化存储，并与视频文件相对应，形成了观测、动作与时间戳等要素齐备的数据结构，为机器人学习算法的训练与评估奠定了坚实而丰富的数据基础。

特点

该数据集具有多维度的显著特征。首要特征在于其多模态融合性，不仅涵盖了机械臂在六维动作空间中的精确位置指令，还同步提供了两种视角的视觉观测，有效捕捉了操作过程中的环境动态与机械臂自身状态。其次，数据采集频率定格于30Hz，时间分辨率较高，能够细腻地呈现连续动作的物理特性。数据集的规范化程度极高，结构化地存储了时间戳、帧序号、episode序号和任务序号等元数据，方便后续的时序分析与数据拆分。从规模上看，60个演示episode及其逼近五万帧的数据量，为端到端策略学习或视觉运动策略模型训练提供了充裕的样本，而其仅含一个任务类型的设定，亦使得针对该特定操作的技能学习更为专注与高效。伴随Apache 2.0许可协议，该数据集的普适性与再开发潜力亦得到增强。

使用方法

数据集使用方法围绕其结构化格式而设计，尤其契合LeRobot框架的标准化流程。研究者可通过HuggingFace平台上的可视化工具直观预览数据，便于快速了解任务场景与数据质量。在利用时，可直接采用LeRobot提供的API进行数据加载，系统将依据元数据中的索引自动解析Parquet文件中的动作与状态序列，并有效衔接对应的视频数据流，从而构造出具有前后时序关联的训练批次。由于机器人动作指令与状态信息均以关节角等固有物理量表示，其与公共机器人策略架构（如扩散策略）具有天然的兼容性。用户可根据元数据中的train划分，执行标准的数据拆分，以训练模仿学习模型并进行效果评估。此外，清晰的数据通道命名及帧率等指标，也便捷了自定义预处理环节的实现，从而适配更广泛的研究需求。

背景与挑战

背景概述

red_blue_v3_20260904_172819数据集由HuggingFace社区用户vanniew于2026年9月4日创建，依托LeRobot框架生成，旨在推动机器人操作领域的模仿学习研究。该数据集聚焦于基于视觉的机械臂操控任务，记录了60个演示片段，包含49,783帧图像与动作数据，采样频率为30赫兹。其核心研究问题在于通过多视角视觉输入（顶部与夹爪摄像头）和关节状态信息，学习精细的抓取与放置策略。作为开源数据资源，该数据集采用Apache-2.0许可，为机器人学习社区提供了标准化的训练与评估基准，对提升机器人泛化能力和操作精度具有潜在影响力。

当前挑战

该数据集所面临的挑战涉及多个层面。在领域问题层面，模仿学习需要处理高维视觉与连续动作之间的映射，而数据集中仅包含单一任务，限制了模型的泛化能力，此外，真实世界中复杂场景的变异性也对数据集覆盖度提出更高要求。在构建过程中，挑战包括确保演示动作的质量与一致性，同步多视角视频与关节数据的时间戳，以及有效压缩视频数据（AV1编码）以平衡存储与保真度。同时，仅60个演示片段可能不足以捕捉操作技能的多样性，导致训练模型易过拟合。这些挑战需通过扩大数据规模、丰富任务类型和优化数据采集流程来应对。

常用场景

经典使用场景

在机器人学习与操作领域，该数据集作为模仿学习研究的基础资源，典型地被用于训练视觉-运动控制策略。通过记录机械臂在红蓝物件拣选与放置任务中的精确关节动作、夹爪状态以及来自顶部和手部视角的同步视频流，研究者可以基于行为克隆或离线强化学习框架，使智能体从高维视觉观测中直接映射出低层控制指令，进而评估算法在真实物理环境下的泛化能力与操控精度。

实际应用

面向实际生产环境，该数据集可用于培育机器人执行精细操作程序的能力。在智能制造的分拣、装配环节中，集成学习该数据预训练的模型，机械臂能自主识别工件位置并灵巧调整抓取姿态。同时，该数据所蕴含的双视角视觉信息，为紧凑空间下的目标追踪与避障提供了有效的技术支撑，亦可用于开发教学用机器人，在无人值守条件下完成实验器材的归类摆放或协助完成重复性高、精度要求严苛的流水线作业。

衍生相关工作

围绕该数据集，研究社区已衍生出诸多具有前瞻性的工作。在算法层面，多种基于Transformer架构的动作解码器和基于扩散策略的生成式控制模型频繁以此作为验收基准，间接推动了视觉-语言-动作模型的融合创新。利用其标准化格式，后续工作亦发展了用于跨任务迁移学习的轻量化适配模块，以及用于提升遥操作效率的共享自治策略。这些衍生研究共同强化了数据在驱动机器人通用操作智能进步中的核心基石作用。