agilex_roll_dice

该数据集由LeRobot创建，包含机器人相关的数据，具体包括动作、观测状态、观测力、图像等信息。数据集结构包括视频、特征等详细信息，适用于机器人技术的研究和应用。

原始信息汇总

数据集概述

基本信息

• 名称: agilex_roll_dice
• 许可证: Apache-2.0
• 任务类别: 机器人学
• 标签: LeRobot
• 代码库版本: v2.0
• 机器人类型: arx5_bimanual

数据集结构

• 总集数: 20
• 总帧数: 5339
• 总任务数: 1
• 总视频数: 60
• 总块数: 1
• 块大小: 1000
• 帧率: 25 fps
• 数据格式: Parquet
• 视频格式: MP4 (AV1编码, YUV420p像素格式)

数据特征

• 动作 (action):
  • 数据类型: float32
  • 形状: [14]
• 观测状态 (observation.state):
  • 数据类型: float32
  • 形状: [14]
• 观测力 (observation.effort):
  • 数据类型: float32
  • 形状: [14]
• 观测图像 (observation.images):
  • cam_high:
    • 数据类型: video
    • 形状: [480, 640, 3]
  • cam_left_wrist:
    • 数据类型: video
    • 形状: [480, 640, 3]
  • cam_right_wrist:
    • 数据类型: video
    • 形状: [480, 640, 3]
• 时间戳 (timestamp):
  • 数据类型: float32
  • 形状: [1]
• 帧索引 (frame_index):
  • 数据类型: int64
  • 形状: [1]
• 集索引 (episode_index):
  • 数据类型: int64
  • 形状: [1]
• 索引 (index):
  • 数据类型: int64
  • 形状: [1]
• 任务索引 (task_index):
  • 数据类型: int64
  • 形状: [1]

数据存储路径

• 数据路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

引用信息

• BibTeX: [More Information Needed]

搜集汇总

数据集介绍

构建方式

在机器人学习领域，高质量的数据集是推动技能习得与泛化能力发展的基石。agilex_roll_dice数据集基于LeRobot框架构建，专注于双机械臂协同操作任务。该数据集利用ARX5双臂机器人平台，通过遥操作或自主策略采集了20个完整演示片段，共计5339帧时序数据。数据以Parquet格式存储，并辅以60段MP4视频，记录了三视角视觉信息（顶部高清摄像头及左右腕部摄像头），确保了多模态感知数据的完整性与一致性。数据集按照20个片段全部作为训练集进行划分，为模仿学习与策略优化提供了结构化的训练样本。

特点

该数据集的核心特点在于其精细的多模态对齐与双臂协同任务设计。每个时间步包含14维的关节动作、状态与力矩数据，精确描述了双臂机器人的运动学与动力学状态。视觉观测部分涵盖三个视角的640x480分辨率视频，以25帧/秒的帧率编码为AV1格式，兼顾了画质与存储效率。数据集记录了单一掷骰子任务，但通过20个不同初始条件与轨迹的演示，引入了操作变异性，有助于学习鲁棒的控制策略。此外，数据集中包含时间戳与帧索引等元信息，便于时间序列分析与数据同步。

使用方法

借助LeRobot生态，该数据集的使用极为便捷。开发者可通过LeRobot的API直接加载Parquet文件与视频数据，获取标准化格式的动作、状态、力矩及多视角图像序列。数据集默认提供训练拆分，适合直接用于行为克隆、扩散策略或隐式Q学习等模仿学习算法的训练。使用时，用户需确保环境配置支持AV1视频解码。通过定义数据加载器，可轻松将时序数据批量化，用于策略网络的输入。该数据集也支持自定义采样与数据增强，以适配不同算法的需求，是双臂操作任务研究的理想基准资源。

背景与挑战

背景概述

在机器人操作领域，模仿学习与示教数据的高效采集是推动智能体从实验室走向真实应用的关键瓶颈。agilex_roll_dice数据集由Hugging Face社区基于LeRobot框架于近期创建，旨在为双臂机器人（ARX5 Bimanual）的精细操作任务提供标准化训练样本。该数据集聚焦于“掷骰子”这一具有代表性的灵巧操作场景，通过20个示范回合、共计5339帧的多模态数据（包括高分辨率视觉、关节状态与力矩信息），为研究双臂协调、物体操控及视觉-运动映射提供了基础资源。其设计遵循LeRobot的统一规范，支持直接用于模仿学习与强化学习算法的训练与评估，有望推动机器人技能迁移与泛化能力的发展。

当前挑战

agilex_roll_dice数据集面临的核心挑战在于：首先，在领域问题层面，双臂机器人的精细操作（如掷骰子）涉及复杂的动力学耦合与实时协调，现有模型难以从有限样本中泛化至不同骰子材质、桌面摩擦系数或初始姿态变化，导致策略鲁棒性不足。其次，构建过程中，数据采集依赖人工遥操作示教，20个回合的样本量可能无法覆盖操作失败模式或极端情况，且多视角视频（cam_high、cam_left_wrist、cam_right_wrist）与高维动作空间（14自由度）的同步标注需要精密的硬件-软件对齐，任何标定误差都会引入噪声。此外，数据仅包含单一任务，缺乏对跨任务迁移能力的验证，这限制了其在通用机器人操作研究中的可扩展性。

常用场景

经典使用场景

在机器人学习与灵巧操作领域，agilex_roll_dice数据集为模仿学习与强化学习算法提供了精细化的多模态训练样本。该数据集依托ARX5双臂机器人平台，记录了20个完整的掷骰子操作回合，涵盖高分辨率视觉观测（包括顶部摄像头与左右腕部摄像头）及14维关节状态与动作序列。研究者可借此训练机器人从视觉输入直接映射至连续动作空间的策略，尤其适用于需要双手协调与精细力控的动态操作任务。数据集的标准化结构基于LeRobot框架，便于与行为克隆、扩散策略等主流算法无缝衔接，成为验证双臂灵巧操作基线性能的经典基准。

解决学术问题

该数据集直面双臂机器人协同操作中动作精度与状态表征的学术挑战。传统单臂操作数据集难以覆盖双手协调的耦合动力学问题，而agilex_roll_dice通过同步记录双臂14维动作与力矩信息，为研究多关节冗余度下的运动规划与控制策略提供了关键数据支撑。其高帧率（25fps）视频与状态数据联合，使学者得以探索视觉-运动域适应、跨模态特征对齐等前沿课题。数据集的公开性有效缓解了灵巧操作领域可复现性不足的困境，推动了从理论模型到真实机器人部署的验证闭环，对理解非刚性物体操作中的接触动力学具有重要启示。

衍生相关工作

agilex_roll_dice数据集催生了多项关于双臂机器人策略泛化与数据效率提升的衍生研究。基于其标准化格式，研究者开发了针对双臂系统的仿真到现实迁移框架，利用域随机化技术增强策略鲁棒性。该数据集亦被用于验证隐式动作分块与层次化强化学习方法的有效性，例如通过将掷骰子任务分解为接近-抓取-释放子阶段，降低长时域策略学习难度。此外，其多视角视觉数据促进了三维手部姿态估计与物体重定向算法的交叉验证，相关成果已延伸至人机协作场景中意图预测与运动规划模型的设计，形成了从数据采集到算法迭代的完整研究生态。