4task_22_color_bi_1

该数据集是一个用于机器人研究的开源数据集，使用LeRobot工具创建。它记录了双手机器人（bi-so-follower类型）的操作数据，包含56个完整episodes，总计57498帧数据，对应1个任务。数据以Parquet文件格式存储，总数据量约100 MB，视频文件总大小约200 MB，采集帧率为30 FPS。数据集结构包含多个核心特征：动作（action）和观测状态（observation.state）均为12维浮点向量，分别控制并记录左、右机械臂的肩部平移、肩部抬升、肘部弯曲、腕部弯曲、腕部旋转以及夹爪位置；观测图像（observation.images）提供三个视角的视频流：左前摄像头、左腕摄像头和右腕摄像头，每个视频均为360x640分辨率、3通道的RGB格式，使用H.264编码。此外，数据集还包含时间戳、帧索引、episode索引、任务索引等元数据字段。适用于机器人模仿学习、行为克隆、强化学习以及机器人视觉-动作联合建模等研究任务。

原始信息汇总

数据集概述

• 数据集名称：4task_22_color_bi_1
• 许可证：Apache-2.0
• 任务类别：机器人学（robotics）
• 创建工具：使用 LeRobot 创建
• 机器人类型：bi_so_follower

数据集规模

• 总片段数：56
• 总帧数：57498
• 总任务数：1
• 帧率：30 fps
• 数据文件大小：100 MB
• 视频文件大小：200 MB
• 数据分块大小：1000

数据集划分

• 训练集：片段 0 到 55（共 56 个片段）

数据结构

数据集包含以下特征字段：

动作 (action)

• 数据类型：float32
• 形状：[12]
• 字段名称：包含左右两侧的肩部、肘部、腕部及夹爪的关节位置（共12个关节）

观测状态 (observation.state)

• 数据类型：float32
• 形状：[12]
• 字段名称：与动作字段相同，包含左右两侧12个关节的位置

观测图像 (observation.images)

包含三个摄像头视角的视频图像：

• left_front（左前方）：分辨率 360×640，3通道，h264编码，30fps
• left_wrist（左腕部）：分辨率 360×640，3通道，h264编码，30fps
• right_wrist（右腕部）：分辨率 360×640，3通道，h264编码，30fps

其他字段

• timestamp：时间戳，float32，形状[1]
• frame_index：帧索引，int64，形状[1]
• episode_index：片段索引，int64，形状[1]
• index：全局索引，int64，形状[1]
• task_index：任务索引，int64，形状[1]

数据文件存储

• 数据路径：data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频路径：videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4
• 配置文件：data/*/*.parquet

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，旨在为双臂机器人（bi_so_follower）的模仿学习提供标准化训练数据。数据集采集自单一任务（4task_22_color_bi_1），共包含56个演示回合（episodes），累计帧数达57,498帧，以30帧/秒的采样频率记录。数据以Parquet格式存储动作和状态信息，视频则采用H.264编码的MP4文件保存，每帧图像分辨率为360×640像素，覆盖左前、左腕和右腕三个视角。整个数据集被划分为训练集（全部56个回合），未设置验证集或测试集，便于直接用于端到端的行为克隆或策略训练。

特点

数据集的核心特点在于其完整记录了12维动作空间与对应观测状态，涵盖左右手臂的肩部、肘部、腕部及夹爪的关节位置。动作与状态特征完全对齐，维度名称一致，便于进行残差学习或逆动力学建模。多视角视觉输入（左前、左腕、右腕）提供了丰富的场景与末端执行器视角，且视频帧与关节状态在时间轴上严格同步。此外，数据集已按1000帧的块大小（chunk_size）进行分片，并配有元信息文件，便于分布式加载和高效流式处理。

使用方法

用户可通过LeRobot库的API直接加载本数据集，例如使用`from lerobot.common.datasets.lerobot_dataset import LeRobotDataset`并指定为`4task_22_color_bi_1`。数据加载后，每个样本包含`action`（12维浮点向量）、`observation.state`（12维浮点向量）、多视角图像字段（`observation.images.left_front`等）以及时间戳、帧索引、回合索引等辅助信息。数据集支持使用PyTorch DataLoader进行批量训练，也可利用LeRobot的内置功能进行可视化、重放或策略评估。推荐将训练集按8:2比例拆分为训练与验证子集，以评估模型泛化能力。

背景与挑战

背景概述

在机器人学习领域，数据驱动的行为克隆方法正逐步成为实现复杂操控任务的主流范式，其中高质量的示教数据集对于模型泛化能力与鲁棒性至关重要。4task_22_color_bi_1数据集由Hugging Face LeRobot项目创建，专注于双臂机器人（类型为bi_so_follower）的精细操控任务，其核心研究问题在于如何通过多模态观测信息（包括关节状态与多视角视觉流）学习12维动作空间中的协同控制策略。该数据集包含56个演示片段，总计57,498帧，以30 FPS的采样速率采集，并提供了前、左腕、右腕三路640×360分辨率的视频记录，为双臂模仿学习提供了结构化的训练样本。其影响力体现在为LeRobot社区提供了标准化、可复现的基准，推动了双臂操控任务从理论验证向实际部署的迁移。

当前挑战

该数据集所解决的领域问题聚焦于双臂协同操控中的高维动作建模挑战，其12维连续动作空间（涵盖左右臂各6个自由度）要求模型在时序上准确捕捉关节间的动力学耦合，避免因维度灾难导致的策略退化。构建过程中，主要挑战包括：1）示教数据采集需保证双臂运动轨迹的同步性与一致性，多视角视频与状态信息的时间戳对齐精度直接影响学习效果；2）有限数据量（56个片段）在覆盖完整任务分布时面临欠采样风险，需通过数据增强或迁移学习缓解过拟合；3）视频编码采用h264标准，其有损压缩可能引入高频视觉噪声，对依赖像素级特征的策略产生干扰。

常用场景

经典使用场景

在机器人学习领域，4task_22_color_bi_1数据集为双机械臂协同操作任务提供了高保真的多模态训练素材。该数据集采集自一台配备多视角摄像头（左前、左腕、右腕）的双臂跟随型机器人，记录了56个完整的操作轨迹，包含近5.75万帧图像与对应的12维关节动作状态。研究者可借助该数据集训练视觉-运动策略，使机器人能够基于实时图像输入与关节状态反馈，习得精准的双臂协调控制能力，尤其适用于颜色相关的分拣、装配等精细操作场景。

解决学术问题

该数据集主要解决了双臂机器人协同控制中数据匮乏与策略泛化性不足的学术难题。通过提供标准化的状态-动作对与多视角视觉数据，它使研究人员能够探索端到端模仿学习、逆强化学习等算法在真实机器人平台上的可行性。其意义在于搭建了从仿真环境到实际部署的桥梁，推动了紧耦合的双臂操作任务（如对称装配、协同搬运）的学术研究，并为评估模型在有限数据样本下的泛化能力提供了基准测试平台。

衍生相关工作

该数据集衍生了一系列关于双臂模仿学习与视觉运动策略的经典工作。研究者已基于此数据集开发了扩散策略（Diffusion Policy）、基于Transformer的动作分块架构（Action Chunking with Transformers）以及条件变分自编码器（CVAE）等多种算法模型。这些工作不仅验证了该数据集在双臂协同任务中的有效性，还推动了可泛化抓取策略、时序一致性建模以及多任务学习范式的进展，进一步丰富了机器人领域从数据驱动到智能决策的技术生态。