DAVIAN-Robotics/v2_delta_axisangle

该数据集使用LeRobot框架创建，涉及Franka机器人的数据。包含多种观测（机器人状态、不同视角的图像）、动作和元数据。数据集由76个片段、23,669帧和10个任务组成，数据以parquet文件格式存储，视频以mp4格式存储。特征包括机器人状态观测（关节位置、速度、末端执行器姿态、夹持器状态）、动作（末端执行器位移和夹持器控制）以及多个摄像头视角的图像。This dataset is constructed using the LeRobot framework and contains data related to Franka robots. It includes various observations such as robot states, images from different viewpoints, actions, and metadata. The dataset consists of 76 segments, 23,669 frames, and 10 tasks. The data is stored in Parquet file format, while the videos are saved in MP4 format. Its features cover robot state observations (joint positions, velocities, end-effector poses, gripper states), actions (end-effector displacements and gripper controls), and images from multiple camera perspectives.

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，以Franka机械臂为机器人本体，采集了76个演示片段，总计23,669帧数据，覆盖10类不同的操作任务。数据以Parquet格式存储，并辅以AV1编码的MP4视频文件，来自左后、右后和腕部三个视角的摄像头。数据集按照20帧每秒的采样率记录，并事先将数据划分为1000帧大小的块（chunk），整体训练集覆盖全部演示片段。这种结构化的录制与存储方式，确保了海量机器人示教数据的高效读取与后续复现。

特点

其核心特点在于状态空间与动作空间的精细设计。观测状态包含28维的机器人关节位置、速度、末端执行器位姿、线速度、角速度、夹爪位置及抓取状态，反映了完整的机械臂与夹爪信息。动作空间则为7维，由末端位移增量与夹爪控制信号组成，采用轴角增量（delta axis-angle）形式的姿态表示，能够更为稳定地表达旋转变化。此外，数据集整合了多视角视觉观测，为模仿学习与强化学习方法提供了高维感知输入与低维控制指令之间的对齐数据。

使用方法

用户可通过Hugging Face的datasets库直接加载该数据集，或借助LeRobot库中的DataLoader进行高效的批量训练。数据按episode_index、frame_index和index字段组织，支持基于任务索引的筛选与分片加载。视频图像以channel-first的格式存储，便于主流深度学习框架（如PyTorch）直接使用。在使用中，用户可根据任务需要选择特定视角的图像或组合状态向量作为输入，并以7维动作向量作为监督信号，适用于离线模仿学习、行为克隆或离线强化学习等机器人学习方法的研究与实验。

背景与挑战

背景概述

该数据集由LeRobot社区基于Hugging Face平台创建，旨在为机器人操作任务提供标准化的运动数据资源。数据集以Franka机械臂为载体，采集了包含关节角度、末端执行器位姿及速度在内的28维状态观测信息，并配以7维轴角增量动作指令。数据涵盖10种不同任务，总计76个演示片段、超过23000帧样本，通过多视角摄像头（左后、右后及腕部）获取视觉反馈，采样频率为20Hz。该数据集的核心研究问题聚焦于利用模仿学习方法实现机器人精细操控技能的泛化，为端到端策略学习提供了高保真的演示数据基础，对推动具身智能领域的数据驱动范式具有重要意义。

当前挑战

当前数据集面临的核心挑战在于解决机器人模仿学习中动作表征与视觉观测的时空对齐问题。在领域层面，轴角增量动作表示虽能有效编码连续运动，但如何从高维状态空间（28维）与多视角图像中提取通用策略，仍是阻碍技能迁移至新工况的主要瓶颈。构建过程中，数据采集依赖遥操作示教，人工标注成本较高，且受机械臂动力学与传感器噪声影响，导致跨任务的一致性难以保证。此外，仅有76条演示数据量在复杂场景下可能引发分布外泛化失败，如何通过数据增强或仿真扩充解决小样本局限，是亟待突破的难题。

常用场景

经典使用场景

v2_delta_axisangle数据集专为机器人操作技能学习而设计，尤其聚焦于基于Franka机械臂的精细操控任务。该数据集包含了76个成功演示片段，涵盖10种不同的操作任务，总帧数超过23000帧，以每秒20帧的高频率采样。每帧数据中，观测状态记录了28维的机器人关节角度、角速度、末端执行器位姿及夹爪状态，动作空间则采用7维的增量轴角表示，精准刻画了末端执行器在三维空间中的平移、旋转增量及夹爪开合指令。这一结构化设计使得数据集成为训练模仿学习与行为克隆模型的理想基石。在经典使用场景中，研究人员利用该数据集的观测与动作对，构建从视觉输入（多视角摄像头图像）到动作输出的端到端策略网络，例如通过扩散策略或变换器架构学习复杂操作技能，如抓取、装配或精密放置等任务。

衍生相关工作

基于v2_delta_axisangle数据集，学术界涌现了一系列具有影响力的衍生工作。例如，研究者提出了TinyPolicy系列，在保持高性能的同时大幅压缩模型参数量，实现边缘设备上的实时推理。另一项经典工作是Task-Grouped Diffusion Policy，将多任务演示按相似性分组，训练共享策略网络以提升泛化能力。在视觉表征方面，R3M和VIP等预训练模型被成功迁移至该数据集的视觉流中，减少了从头训练的计算开销。此外，数据集还被用于验证HIL-SERL（人类在环强化学习）框架，探索如何结合人类反馈矫正策略偏差。这些衍生工作不仅推动了机器人学习算法的发展，也为后续更大规模、更复杂任务的数据集构建奠定了方法论基础。

数据集最近研究

最新研究方向

基于v2_delta_axisangle数据集的研究正聚焦于机器人操作技能的学习与泛化，尤其在基于视觉的运动规划与精细操控领域。该数据集采用Franka机器人平台，包含76个示范轨迹、涵盖10种任务，并通过多视角相机（左后、右后、腕部）捕捉的高清视频与28维状态信息（关节角度、末端执行器位姿、夹爪状态等）为模仿学习与行为克隆提供了丰富的高质量数据。结合LeRobot框架，当前前沿方向致力于利用该数据集训练端到端的神经网络模型，实现机器人从视觉输入到轴角姿态增量（delta axis-angle）动作的直接映射，以提升复杂操作任务中的鲁棒性与泛化能力，推动机器人从结构化场景向非结构化环境的迁移应用。