clear

该数据集使用LeRobot创建，包含了42个剧集，每个剧集包含不同数量的帧，总共18110帧。数据集包含2个任务，每个任务都有相应的视频和块。数据集以parquet文件格式存储，并提供了视频文件。数据集中的特征包括动作、观测状态、前视图图像、时间戳、帧索引、剧集索引、索引和任务索引等。所有数据都按照Apache-2.0许可发布。

原始信息汇总

数据集概述

基本信息

• 许可证: Apache-2.0
• 任务类别: 机器人学
• 标签: LeRobot, 2.1

数据集结构

• 总任务数: 2
• 总视频数: 42
• 总帧数: 18110
• 总片段数: 1
• 片段大小: 1000
• 帧率: 30 FPS
• 分割: 训练集（0:42）

数据格式

• 数据文件: Parquet格式
• 视频格式: MP4（AV1编码，YUV420p像素格式，无音频）

特征描述

动作特征

• 数据类型: float32
• 形状: [6]
• 名称: shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos

观测状态特征

• 数据类型: float32
• 形状: [6]
• 名称: shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos

前视图像观测特征

• 数据类型: 视频
• 形状: [480, 640, 3]
• 名称: 高度, 宽度, 通道数
• 视频信息:
  • 高度: 480像素
  • 宽度: 640像素
  • 编解码器: AV1
  • 像素格式: YUV420p
  • 深度图: 否
  • 帧率: 30 FPS
  • 通道数: 3
  • 音频: 无

其他特征

• 时间戳: float32类型，形状[1]
• 帧索引: int64类型，形状[1]
• 片段索引: int64类型，形状[1]
• 索引: int64类型，形状[1]
• 任务索引: int64类型，形状[1]

技术信息

• 代码库版本: v2.1
• 机器人类型: so101_follower
• 数据路径格式: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径格式: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

搜集汇总

数据集介绍

构建方式

在机器人技术领域，clear数据集依托LeRobot框架构建，采用Apache 2.0开源协议。该数据集通过记录42个完整交互情景，累计18110帧数据，以30fps的采样率捕获机器人关节状态与前端视觉信息。数据以分块parquet格式存储，每个情景包含六维动作向量和对应的六维状态观测，确保数据结构的规范性与可扩展性。

特点

clear数据集具备多模态特性，融合了机器人的关节位置控制指令与实时环境感知数据。其前端摄像头采集480x640分辨率的RGB视频流，动作与状态数据均以float32类型存储，维度一致且命名清晰，支持机器人行为克隆与强化学习研究。数据集涵盖2类任务，所有情景均划分为训练集，适用于端到端的机器人策略建模。

使用方法

研究人员可通过加载parquet文件直接访问多模态数据流，其中动作、状态及图像数据键值明确。视频数据以MP4格式独立存储，支持帧级对齐与时间戳检索。该数据集兼容主流机器人学习库，可用于行为克隆、离线强化学习或视觉运动控制任务的模型训练与验证。

背景与挑战

背景概述

CLEAR数据集作为机器人学习领域的重要资源，由HuggingFace的LeRobot项目团队基于v2.1代码架构开发，专注于多模态机器人控制研究。该数据集采用Apache 2.0开源协议，收录了42个完整任务片段和18110帧多维数据，涵盖六自由度机械臂的关节状态控制与前端视觉感知信息。其核心价值在于为模仿学习与强化学习算法提供了真实环境下的时空对齐数据，推动机器人行为预测与自主决策研究的发展。

当前挑战

该数据集主要应对机器人动态环境下的精细操作与视觉-动作映射难题，其构建过程面临多传感器时序同步、高维动作空间采样效率、以及真实场景数据采集稳定性等挑战。具体而言，需要解决机械臂关节控制指令与视觉观测帧间的精确对齐问题，同时确保在非结构化环境中收集的数据兼具多样性和安全性，这对数据采集系统的鲁棒性和后期处理流程提出了较高要求。

常用场景

经典使用场景

在机器人学习领域，clear数据集通过记录六自由度机械臂的关节位置与视觉观测数据，为模仿学习与行为克隆算法提供了标准化的训练范本。其多模态数据融合特性使得研究者能够构建端到端的控制策略，通过前视摄像头捕捉的环境图像与关节运动轨迹的对应关系，训练智能体从原始感知输入到动作输出的映射能力。

解决学术问题

该数据集有效解决了机器人技能迁移中的表征学习难题，通过提供精确的时间对齐多模态数据，支持基于视觉的强化学习算法验证。其结构化数据格式显著降低了机器人操作任务的研究门槛，为关节空间控制、视觉伺服控制等核心问题提供了可复现的基准，推动了具身智能领域标准化评估体系的发展。

衍生相关工作

基于clear数据集的特性，衍生出多项机器人感知控制融合的经典研究。包括基于时空注意力的行为克隆架构、多视角视觉特征提取网络，以及结合逆动力学模型的自我监督学习方法。这些工作显著提升了机械臂在部分可观测环境中的操作精度，为后续大规模机器人数据集建设提供了技术范式参考。