record_ACT_1

该数据集由LeRobot创建，主要用于机器人技术领域。数据集包含61个总片段，104830帧数据，总数据文件大小为100MB，视频文件大小为200MB，帧率为30fps。数据以parquet格式存储，视频以mp4格式存储。数据集包含多个特征字段，如动作（action）、观测状态（observation.state）、顶部图像观测（observation.images.top）、时间戳（timestamp）、帧索引（frame_index）、片段索引（episode_index）、索引（index）和任务索引（task_index）。动作和观测状态字段包含6个浮点数值，分别对应机器人肩部、肘部、腕部和夹持器的位置。顶部图像观测字段包含360x640x3的视频数据，采用h264编码，yuv420p像素格式，无音频。数据集适用于机器人控制、行为克隆等任务。

原始信息汇总

数据集概述：Whaleegg/record_ACT_1

基本信息

• 许可证：Apache-2.0
• 任务类别：机器人学
• 标签：LeRobot
• 创建工具：使用 LeRobot 创建

数据集结构

整体统计

• 总任务数：1
• 总回合数：61
• 总帧数：104830
• 帧率：30 fps
• 数据文件大小：100 MB
• 视频文件大小：200 MB
• 分块大小：1000
• 数据拆分：训练集（索引 0 至 61）

数据文件路径

• 数据路径：data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频路径：videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

特征字段

动作

• 数据类型：float32
• 形状：[6]
• 名称：
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

观测状态

• 数据类型：float32
• 形状：[6]
• 名称：
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

观测图像（顶部摄像头）

• 数据类型：视频
• 形状：[360, 640, 3]
• 维度名称：高度、宽度、通道
• 视频信息：
  • 高度：360 像素
  • 宽度：640 像素
  • 通道数：3
  • 帧率：30 fps
  • 编解码器：h264
  • 像素格式：yuv420p
  • 是否为深度图：否
  • 是否包含音频：否

元数据

• 时间戳：float32，形状 [1]
• 帧索引：int64，形状 [1]
• 回合索引：int64，形状 [1]
• 索引：int64，形状 [1]
• 任务索引：int64，形状 [1]

配置

• 配置名称：default
• 数据文件：data/*/*.parquet

可视化

• 可视化地址：https://huggingface.co/spaces/lerobot/visualize_dataset?path=Whaleegg/record_ACT_1

引用信息

• 主页：[More Information Needed]
• 论文：[More Information Needed]
• BibTeX 引用：[More Information Needed]

搜集汇总

数据集介绍

构建方式

在机器人学习领域，高质量的数据集是推动算法发展的基石。record_ACT_1数据集依托LeRobot开源框架构建，系统性地采集了真实机器人操作任务中的多模态交互数据。其构建过程通过记录一台六自由度机械臂（so_follower）在单一任务场景下的连续操作轨迹完成，总计包含61个完整交互片段与超过十万帧时序数据。数据以分块形式高效存储于Parquet文件中，每块容纳1000帧观测与动作记录，并同步保存了分辨率为360x640、帧率为30fps的顶部视角视频流，确保了动作序列与视觉观测的严格对齐。

使用方法

为便于学术研究与算法开发，该数据集已集成于Hugging Face生态系统，并提供了直观的可视化界面供用户探索。使用者可通过标准数据加载库直接读取Parquet格式文件，依据‘episode_index’与‘frame_index’字段重构完整任务执行序列。数据集适用于机器人模仿学习、行为克隆、离线强化学习等多种任务范式。研究人员可利用其对齐的多模态信号，训练端到端的视觉运动策略模型，或分析真实机器人动作的时序特性。所有数据均已划分为训练集，可直接用于模型训练与验证。

背景与挑战

背景概述

在机器人学习领域，模仿学习与行为克隆技术正逐步推动智能体在复杂物理环境中的自主决策能力。record_ACT_1数据集由LeRobot项目团队构建，专注于记录六自由度机械臂在特定任务中的连续动作轨迹与多模态观测数据。该数据集通过整合关节位置状态、时序图像流及精确的时间戳信息，为机器人动作策略的端到端学习提供了丰富的训练资源。其核心研究问题在于如何从高维感官输入中提取有效特征，并生成精确、平滑的关节控制指令，以促进机器人操作技能的泛化与迁移。尽管数据集的具体创建时间与主要研究人员信息尚未公开，但其依托于开源机器人学习框架LeRobot，体现了社区在推动机器人数据标准化与共享方面的努力，对强化学习与视觉运动控制交叉领域的研究具有积极的参考价值。

当前挑战

record_ACT_1数据集所针对的领域挑战在于解决机器人动作生成中的状态-动作映射复杂性，尤其是在动态环境中实现精准、鲁棒的操作控制。具体而言，数据集需应对从异构观测数据（如关节状态与视觉图像）到连续动作空间的非线性映射难题，这对模型的表征学习与时序推理能力提出了较高要求。在构建过程中，数据采集面临诸多技术挑战，包括多传感器时序同步的精确性、机械臂运动轨迹的平滑性与安全性保障，以及大规模视频数据的高效存储与处理。此外，确保数据集的多样性与任务覆盖度，避免过拟合于特定环境或初始条件，亦是构建高质量机器人学习数据集的关键难点。

常用场景

经典使用场景

在机器人学习领域，record_ACT_1数据集为模仿学习与行为克隆提供了关键支持。该数据集通过LeRobot平台采集，包含61个完整交互序列与超过10万帧数据，涵盖机器人关节状态、动作指令及顶部摄像头视觉信息。研究者可利用这些多模态轨迹数据，训练端到端策略模型，使机器人能够复现人类演示的精细操作行为，尤其适用于机械臂在结构化环境中的抓取与放置任务。

解决学术问题

该数据集有效应对了机器人模仿学习中演示数据稀缺与质量参差的挑战。其系统化记录的关节位置、时序动作及同步视觉流，为研究动作表征学习、跨模态对齐与长期依赖建模提供了标准化基准。通过提供高精度、多视角的交互轨迹，它助力学术界探索样本效率提升、泛化能力增强等核心问题，推动了从演示到自主决策的算法演进。

实际应用

在实际机器人部署中，record_ACT_1数据集能够支撑工业自动化与辅助机器人系统的开发。基于其记录的机械臂关节控制序列与视觉反馈，工程师可构建适应真实场景的抓取分拣、装配辅助等任务模型。数据集涵盖的连续动作空间与状态观测，为机器人适应非结构化环境、实现柔顺操作提供了数据基础，促进了从实验室仿真到物理系统的平稳迁移。

数据集最近研究

最新研究方向

在机器人学习领域，record_ACT_1数据集作为LeRobot项目的重要组成部分，正推动模仿学习与行为克隆的前沿探索。该数据集整合了机械臂关节状态与视觉观测数据，为多模态感知与决策模型提供了丰富训练资源。当前研究聚焦于利用此类数据提升机器人动作泛化能力，尤其在复杂环境下的自主操作任务中，结合强化学习与视觉Transformer架构，实现更精准的动作预测与控制。随着开源机器人社区的活跃，这类数据集加速了低成本机器人系统的智能化进程，对家庭服务与工业自动化场景具有深远影响。