white_fork

该数据集使用LeRobot工具创建，具体的数据集描述信息未提供。数据集包含5个总剧集，1188个总帧数，1个总任务，10个视频文件，1个数据块，每个数据块的大小为1000，帧率为30fps。数据集被分为训练集，比例为0:5。数据集包含多种特征，包括动作、状态、左侧图像、前方图像、时间戳、帧索引、剧集索引、索引和任务索引等。

原始信息汇总

数据集概述

基本信息

• 许可证: apache-2.0
• 任务类别: 机器人学
• 标签: LeRobot
• 创建工具: LeRobot

数据集结构

• 配置名称: default
• 数据文件: data//.parquet
• 代码库版本: v2.1
• 机器人类型: so101_follower
• 总集数: 5
• 总帧数: 1188
• 总任务数: 1
• 总视频数: 10
• 总块数: 1
• 块大小: 1000
• 帧率: 30 fps
• 分割: {"train": "0:5"}

数据路径

• 数据路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征

• action:
  • 数据类型: float32
  • 形状: [6]
  • 名称: shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos
• observation.state:
  • 数据类型: float32
  • 形状: [6]
  • 名称: shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos
• observation.images.left:
  • 数据类型: video
  • 形状: [480, 640, 3]
  • 名称: height, width, channels
  • 信息:
    • video.height: 480
    • video.width: 640
    • video.codec: av1
    • video.pix_fmt: yuv420p
    • video.is_depth_map: false
    • video.fps: 30
    • video.channels: 3
    • has_audio: false
• observation.images.front:
  • 数据类型: video
  • 形状: [480, 640, 3]
  • 名称: height, width, channels
  • 信息:
    • video.height: 480
    • video.width: 640
    • video.codec: av1
    • video.pix_fmt: yuv420p
    • video.is_depth_map: false
    • video.fps: 30
    • video.channels: 3
    • has_audio: false
• timestamp:
  • 数据类型: float32
  • 形状: [1]
• frame_index:
  • 数据类型: int64
  • 形状: [1]
• episode_index:
  • 数据类型: int64
  • 形状: [1]
• index:
  • 数据类型: int64
  • 形状: [1]
• task_index:
  • 数据类型: int64
  • 形状: [1]

搜集汇总

数据集介绍

构建方式

在机器人技术领域，white_fork数据集通过LeRobot框架系统性地采集了真实环境下的机械臂操作数据。该数据集包含5个完整任务片段，总计1188帧图像，以30fps的帧率记录，数据以分块形式存储于Parquet文件中，确保了高效的数据读取与处理。

特点

数据集显著特点在于多模态数据集成，同时包含六维关节角度动作向量、双视角视觉观测（左侧与前方480x640RGB图像）及时间戳元数据。其动作与状态空间均采用浮点型数值精确描述机械臂的肩部平移、肩部抬升、肘部弯曲等六个自由度运动，为模仿学习研究提供高维度时空信息支撑。

使用方法

研究者可通过加载标准Parquet数据格式直接访问多模态序列，利用帧索引和时间戳实现精确的数据对齐。该数据集专为训练端到端机器人策略设计，支持动作预测、状态估计等任务，其标准化接口兼容主流机器学习框架，便于开展机械臂控制算法的实证研究。

背景与挑战

背景概述

机器人学习领域近年来对高质量示范数据的需求日益增长，white_fork数据集应运而生。该数据集由LeRobot团队基于Apache 2.0许可证构建，专门面向so101_follower型机器人平台。其核心研究问题聚焦于机械臂操作任务的模仿学习，通过多模态数据采集系统记录包括关节位置、视觉观测和时间序列在内的完整交互信息。该数据集采用先进的视频编码技术和标准化数据存储格式，为机器人行为克隆与强化学习算法提供了宝贵的训练资源。

当前挑战

该数据集主要解决机器人操作任务中的动作预测与状态感知问题，面临动作空间高维连续控制的精度挑战，以及多视角视觉观测与机械状态的时间同步难题。构建过程中需克服多传感器数据融合的技术障碍，包括不同采样率的传感器时序对齐、大规模视频数据的高效压缩存储，以及机械臂运动轨迹的精确标定与噪声过滤。

常用场景

经典使用场景

在机器人行为克隆研究中，white_fork数据集通过记录六自由度机械臂的关节角度与双视角视觉观测，为模仿学习算法提供了多模态演示数据。研究者可基于该数据集训练端到端的策略网络，使机器人能够从视觉输入直接生成对应的关节控制指令，实现精细化的物体操作任务。

衍生相关工作

基于该数据集的特性，研究者开发了多种基于Transformer的行为克隆架构，如ActFormer等时序动作预测模型。这些工作显著提升了长时程动作序列的生成质量，同时催生了针对多视角视觉融合的跨注意力机制研究，推动了机器人模仿学习领域的技术演进。

数据集最近研究

最新研究方向

在机器人操作学习领域，white_fork数据集通过多模态感知数据推动模仿学习与强化学习的融合研究。该数据集包含机械臂关节状态与双视角视觉信息，为机器人技能泛化提供了重要支撑。当前研究热点集中于跨任务迁移学习与端到端策略训练，通过时空特征提取实现动作序列的精确预测。随着具身智能的发展，此类高质量示教数据正成为机器人自主操作能力提升的关键要素，为家庭服务与工业自动化场景提供技术储备。