eval_act

该数据集使用LeRobot创建，用于机器人领域的研究。它包含了机器臂动作和观察状态的浮点数据，以及顶部和侧面视角的视频数据。数据集包含一个任务，共两个视频文件，分为一个片段，每片段包含1000帧数据。数据集的格式为Parquet文件，并遵循apache-2.0许可。

This dataset was developed using LeRobot for robotics research. It includes floating-point data of robotic arm motions and observation states, alongside video data captured from top and side perspectives. The dataset encompasses one single task, consisting of two total video files split into one segment, with each segment containing 1000 frames of data. The dataset is formatted as Parquet files and is licensed under the Apache-2.0 license.

原始信息汇总

数据集概述

基本信息

• 许可证: apache-2.0
• 任务类别: 机器人学 (robotics)
• 标签: LeRobot
• 代码库版本: v2.1
• 机器人类型: so101_follower

数据集结构

• 总集数: 1
• 总帧数: 329
• 总任务数: 1
• 总视频数: 2
• 总块数: 1
• 块大小: 1000
• 帧率: 30 fps
• 数据路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征

• 动作 (action)
  • 数据类型: float32
  • 形状: [6]
  • 名称: shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos
• 观测状态 (observation.state)
  • 数据类型: float32
  • 形状: [6]
  • 名称: shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos
• 观测图像 (observation.images.top 和 observation.images.side)
  • 数据类型: video
  • 形状: [480, 640, 3]
  • 名称: height, width, channels
  • 视频信息:
    • 高度: 480
    • 宽度: 640
    • 编解码器: av1
    • 像素格式: yuv420p
    • 是否为深度图: false
    • 帧率: 30 fps
    • 通道数: 3
    • 是否包含音频: false
• 时间戳 (timestamp)
  • 数据类型: float32
  • 形状: [1]
• 帧索引 (frame_index)
  • 数据类型: int64
  • 形状: [1]
• 集索引 (episode_index)
  • 数据类型: int64
  • 形状: [1]
• 索引 (index)
  • 数据类型: int64
  • 形状: [1]
• 任务索引 (task_index)
  • 数据类型: int64
  • 形状: [1]

引用

• BibTeX: [More Information Needed]

搜集汇总

数据集介绍

构建方式

eval_act数据集依托LeRobot框架构建，采用so101_follower机器人平台进行数据采集。通过记录机器人关节位置、视觉观察及时间戳等多模态数据，以30fps的采样频率捕获连续操作序列。数据以分块形式存储于parquet格式文件中，每帧包含6自由度机械臂动作指令及双视角480x640像素RGB视频流，确保了操作轨迹与视觉感知的时空对齐。

使用方法

使用者可通过加载parquet数据文件获取帧级多维特征，包括动作指令、关节状态、图像帧及时间元数据。建议采用滑动窗口构建训练样本，利用双视角视频流增强视觉表征学习。该数据集适用于行为克隆、逆强化学习等算法验证，可通过LeRobot代码库直接集成到机器人学习管道中。

背景与挑战

背景概述

eval_act数据集作为机器人学习领域的重要数据资源，由HuggingFace的LeRobot项目团队构建，专注于机器人动作评估与策略学习。该数据集通过记录六自由度机械臂的关节位置状态与多视角视觉观测数据，为模仿学习与强化学习算法提供高质量的训练样本。其采用Apache 2.0开源协议，体现了学术界对数据开放共享的倡导，旨在推动机器人控制算法的泛化能力与实际部署性能的提升。

当前挑战

该数据集致力于解决高维连续动作空间中的机器人控制问题，其核心挑战在于多模态数据的时序对齐与动作策略的精确建模。构建过程中需克服机械臂状态采样频率与视觉帧率的同步难题，同时需确保不同视角视频数据的空间标定一致性。此外，关节动作数据的噪声过滤与轨迹平滑处理亦是保障数据质量的关键技术瓶颈。

常用场景

经典使用场景

在机器人行为学习领域，eval_act数据集通过多视角视频流与六自由度机械臂动作数据的同步记录，为模仿学习算法提供了标准化的评估基准。研究者可基于该数据集训练端到端的视觉运动策略网络，验证模型在关节空间动作预测方面的泛化能力。

解决学术问题

该数据集有效解决了机器人技能迁移中的动作表示学习问题，通过结构化存储关节角度与视觉观测的时空对应关系，为研究动作语义理解、多模态表征对齐等核心问题提供数据支撑。其精确的时间戳标注机制显著提升了动作分割与状态转移分析的可靠性。

实际应用

工业场景中的机械臂示教学习可直接受益于此数据集构建的框架，通过顶部与侧部双视角视觉反馈，系统能够学习人类操作员的动作模式并复现精细操作任务。服务机器人领域亦可借鉴其多模态数据融合方法，实现更自然的人机协作交互。

数据集最近研究

最新研究方向

在机器人学习领域，eval_act数据集作为LeRobot项目的重要组成部分，正推动模仿学习与强化学习的深度融合。该数据集通过多视角视觉观测与高精度关节动作的同步记录，为机器人行为克隆提供了高质量的训练样本。当前研究热点集中于跨模态表征学习，利用视觉-动作对应关系提升策略泛化能力。随着具身智能概念的兴起，此类数据集在真实世界技能迁移任务中展现出关键价值，为端到端机器人控制系统的开发奠定了数据基础。其开源特性进一步促进了学术界对机器人行为评估标准的统一化探讨。