lerobot_dataset_RedLego_241125

这是一个机器人数据集，包含163个剧集，共计126272帧，专注于一个任务。数据集以Parquet文件格式存储，每个文件包含1000个数据块。数据集还包括视频文件，总大小为500MB。数据集的特征包括机器人的动作位置、观测状态以及顶部、左侧手腕和右侧侧面的图像。所有视频均为30fps，没有音频。

原始信息汇总

数据集概述

基本信息

• 许可证: Apache-2.0
• 任务类别: 机器人技术
• 标签: LeRobot
• 创建工具: LeRobot (https://github.com/huggingface/lerobot)

数据集规模

• 总情节数: 163
• 总帧数: 126,272
• 总任务数: 1
• 数据分块大小: 1000
• 数据文件大小: 100 MB
• 视频文件大小: 500 MB
• 帧率: 30 FPS

数据结构

• 数据格式: Parquet
• 数据路径: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频路径: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4
• 训练集划分: 0:163 (全部数据)

特征字段

动作特征

• 名称: action
• 数据类型: float32
• 维度: [6]
• 关节位置:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

观测特征

状态观测

• 名称: observation.state
• 数据类型: float32
• 维度: [6]
• 关节位置:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

图像观测

顶部摄像头:

• 名称: observation.images.top
• 数据类型: video
• 分辨率: 480×640×3
• 视频编码: av1
• 像素格式: yuv420p
• 非深度图

左腕部摄像头:

• 名称: observation.images.wrist.left
• 数据类型: video
• 分辨率: 480×640×3
• 视频编码: av1
• 像素格式: yuv420p
• 非深度图

右侧摄像头:

• 名称: observation.images.side.right
• 数据类型: video
• 分辨率: 480×640×3
• 视频编码: av1
• 像素格式: yuv420p
• 非深度图

索引特征

• 时间戳: timestamp (float32, [1])
• 帧索引: frame_index (int64, [1])
• 情节索引: episode_index (int64, [1])
• 索引: index (int64, [1])
• 任务索引: task_index (int64, [1])

技术规格

• 代码库版本: v3.0
• 机器人类型: so101_follower
• 所有视频均无音频

搜集汇总

数据集介绍

构建方式

在机器人技术领域，数据采集的精确性与系统性至关重要。本数据集通过LeRobot平台构建，采用so101_follower型机器人进行多视角视觉与关节状态数据的同步记录。数据以分块存储形式组织，包含163个完整任务片段，总计126,272帧时序数据，所有动作轨迹与观测状态均以30Hz频率采样并编码为标准化parquet格式。

使用方法

针对机器人模仿学习的研究需求，使用者可通过解析parquet数据文件获取结构化特征矩阵。动作空间包含肩部平移、肩部抬升、肘部弯曲等六维连续控制指令，观测空间则整合关节状态与多路视频流。建议按照chunk索引分段加载数据，利用帧索引与时间戳重建任务轨迹，视频数据可通过AV1编解码器还原为原始视觉序列，适用于行为克隆、强化学习等算法验证。

背景与挑战

背景概述

机器人学习领域近年来在模仿学习与强化学习融合方面取得显著进展，lerobot_dataset_RedLego_241125数据集作为LeRobot项目的重要组成部分，专注于机械臂操作任务的视觉运动控制研究。该数据集采用so101_follower型机器人平台，通过多视角视觉感知与关节状态记录，构建包含163个任务序列、12.6万帧数据的完整交互轨迹，为机器人动作生成与策略优化提供真实环境下的训练基础。

当前挑战

该数据集致力于解决机器人操作任务中视觉-动作映射的复杂性问题，需克服高维观测空间与低维动作空间的语义对齐挑战。在构建过程中面临多传感器时序同步、大规模视频数据压缩存储等技术难点，同时需确保6自由度机械臂轨迹数据的平滑性与任务执行的连贯性，这对数据采集系统的实时性与稳定性提出较高要求。

常用场景

经典使用场景

在机器人学习领域，该数据集通过多视角视觉观察与关节动作的同步记录，为模仿学习算法提供了丰富的训练素材。其包含的163个完整任务轨迹与12万余帧数据，能够有效支撑从视觉感知到运动控制的端到端策略学习，尤其适用于基于深度神经网络的机器人行为克隆研究。

解决学术问题

该数据集显著缓解了机器人学习研究中真实世界数据稀缺的困境，其精细标注的关节空间动作与多模态观测数据，为验证分层强化学习、多任务泛化等前沿理论提供了实证基础。通过标准化数据格式与大规模轨迹收集，它有力推动了样本效率优化与跨场景迁移等核心科学问题的探索进程。

实际应用

在工业自动化场景中，该数据集支撑的算法可应用于精密装配、物料分拣等流程。其记录的六自由度机械臂运动轨迹与腕部、侧视摄像头数据，为构建适应动态环境的抓取系统提供了关键训练依据，显著降低了实体机器人调试过程中的时间与经济成本。

数据集最近研究

最新研究方向

在机器人学习领域，RedLego数据集凭借其多视角视觉观测与关节动作的同步记录特性，正推动模仿学习与视觉运动控制的前沿探索。当前研究聚焦于跨模态表征对齐，通过融合顶部、腕部与侧向摄像头的高帧率视频流，构建端到端的策略生成模型。该数据集支撑的具身智能研究，正逐步解决真实场景下的动作泛化难题，为服务机器人的人机协作任务提供关键数据基石。