forklift_act

这是一个关于机器人（clamp_forklift型）操作的数据集，包含2个集，757帧，共1个任务。数据集以Parquet文件格式存储，并配有相应的视频文件。数据集提供了多种特征，包括速度、转向角、升降位置、垫偏移量、关节位置、关节速度、前摄像头图像等。数据集划分了训练集，并遵循apache-2.0许可。

原始信息汇总

数据集概述

基本信息

• 许可证: Apache-2.0
• 任务类别: 机器人技术
• 标签: LeRobot
• 创建工具: LeRobot

数据集规模

• 总情节数: 2
• 总帧数: 757
• 总任务数: 1
• 数据文件大小: 100 MB
• 视频文件大小: 500 MB
• 帧率: 30 FPS
• 数据块大小: 1000

数据结构

• 数据文件路径: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件路径: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4
• 训练集划分: 0:2

特征描述

动作特征

• 维度: 4
• 数据类型: float32
• 特征名称:
  • speed
  • steering_angle
  • lift_position
  • pad_offset

观测特征

关节位置

• 维度: 9
• 数据类型: float32
• 关节名称:
  • lift_joint
  • left_front_wheel_joint
  • right_front_wheel_joint
  • left_rotator_joint
  • right_rotator_joint
  • pad_left_joint
  • pad_right_joint
  • left_back_wheel_joint
  • right_back_wheel_joint

关节速度

• 维度: 9
• 数据类型: float32
• 关节名称: 与关节位置相同

前摄像头图像

• 数据类型: video
• 分辨率: 480×640×3
• 视频编码: h264
• 像素格式: yuv444p
• 是否为深度图: false
• 音频: 无

索引特征

• 时间戳: float32[1]
• 帧索引: int64[1]
• 情节索引: int64[1]
• 索引: int64[1]
• 任务索引: int64[1]

技术信息

• 代码库版本: v3.0
• 机器人类型: clamp_forklift

搜集汇总

数据集介绍

构建方式

在机器人技术领域，数据采集的精确性至关重要。该数据集通过LeRobot平台构建，记录了夹持式叉车在真实环境中的操作数据。数据以分块形式存储于Parquet文件中，每块包含1000个数据点，总计757帧，涵盖2个完整操作片段。采集过程中采用30fps的帧率同步记录多模态信息，包括关节状态、动作指令及前摄像头视觉流，确保了时序数据的一致性。

特点

本数据集在机器人操作研究中展现出多维特征优势。其动作空间包含速度、转向角、升降位置和垫片偏移四个连续控制维度，观测空间则完整捕捉了9个关节的位置与速度状态。前摄像头以480x640分辨率的三通道视频流提供丰富的视觉上下文，配合精确的时间戳和帧索引，为模仿学习与策略优化提供了高精度时空对齐的多模态数据基础。

使用方法

针对机器人学习任务的应用需求，该数据集支持端到端的训练流程。研究者可通过加载Parquet格式的数据块直接获取结构化特征，利用帧索引实现跨模态数据对齐。训练集包含全部2个操作片段，视频数据与传感器读数可通过预设路径关联。该设计便于开发基于视觉的强化学习模型，或构建关节控制与视觉感知的联合训练框架。

背景与挑战

背景概述

在机器人技术迅猛发展的背景下，自主导航与操作能力成为工业自动化的核心研究方向。forklift_act数据集由LeRobot团队构建，聚焦于夹持式叉车在复杂环境中的动态控制问题。该数据集通过记录多维度传感器数据与执行器动作，旨在解决机器人对重型物体的精准搬运与路径规划等关键任务，为智能仓储系统的算法开发提供重要支撑。

当前挑战

该数据集致力于应对机器人领域中的实时运动控制与多模态感知融合难题，具体涉及高维动作空间的连续决策优化及环境交互的不确定性建模。在构建过程中，数据采集面临机械系统同步精度不足、传感器噪声干扰以及大规模视频流存储效率低下等挑战，这些因素共同制约了数据质量的提升与算法泛化能力的验证。

常用场景

经典使用场景

在工业机器人控制领域，forklift_act数据集为叉车式机器人的动作学习提供了关键支持。该数据集通过记录叉车在真实环境中的运动轨迹、关节状态及视觉感知数据，成为训练端到端控制模型的理想资源。研究者可利用其多维动作特征与同步视觉观测，构建基于深度强化学习的自主导航系统，模拟叉车在复杂场景下的精准操作。

实际应用

在智慧物流与智能仓储系统中，该数据集可直接应用于自动化叉车的算法优化。基于其记录的真实操作数据，工程师能够训练出适应动态环境的控制模型，实现货物搬运路径规划、障碍物避让等核心功能。这种数据驱动的开发模式大幅降低了实体机器人调试成本，为制造业的智能化升级提供了关键技术支撑。

衍生相关工作

围绕该数据集衍生的经典研究主要集中于多传感器融合控制架构的开发。基于其提供的关节运动与视觉同步数据，研究者提出了多种时空特征提取网络，显著提升了动作预测的准确性。这些工作进一步催生了面向工业场景的标准化评测基准，为后续机器人操作数据集的构建范式确立了重要参考。