INSIGHT-guide-nd-1

这是一个由LeRobot工具创建的机器人任务数据集，包含20个剧集，每个剧集中的帧数总计1520帧。数据集包含一个任务，120个视频，所有数据被分为一个块，每个块包含1000帧。数据集的特征包括机器人的末端执行器位置、姿态、速度等状态信息，以及手腕、左肩和右肩的图像和语义信息。此外，数据集还包含了机器人的动作、奖励等信息。

This is a robotic task dataset created with the LeRobot toolkit. It contains 20 episodes, with a total of 1520 frames across all episodes. The dataset includes one target task and 120 videos. All data is grouped into one chunk, where each chunk contains 1000 frames. The dataset features state information such as the robot's end-effector position, orientation, and velocity, as well as image and semantic information from the wrist, left shoulder, and right shoulder. Additionally, the dataset also includes robot actions, rewards, and other relevant information.

原始信息汇总

数据集概述

基本信息

• 许可证: Apache-2.0
• 任务类别: 机器人学
• 标签: LeRobot
• 机器人类型: franka_panda
• 代码库版本: v2.1

数据集规模

• 总任务数: 1
• 总片段数: 20
• 总帧数: 1520
• 总视频数: 120
• 总块数: 1
• 块大小: 1000
• 帧率: 10 FPS
• 数据分割: 训练集（0:20）

数据结构

数据文件路径

• 数据路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征描述

观测状态（observation.state）

• 数据类型: float32
• 形状: [34]
• 特征名称:
  • 末端执行器位置（ee_x, ee_y, ee_z）
  • 末端执行器四元数（ee_qw, ee_qx, ee_qy, ee_qz）
  • 关节角度（j1-j7）
  • 夹爪状态（gripper_1, gripper_2）
  • 关节速度（v_j1-v_j7, v_gripper_1, v_gripper_2）
  • 关节力矩（p_a1-p_a7, p_gripper_1, p_gripper_2）

图像观测

包含六个视频特征，均具有以下属性：

• 数据类型: video
• 形状: [3, 480, 640]
• 视频属性:
  • 高度: 480
  • 宽度: 640
  • 编解码器: av1
  • 像素格式: yuv420p
  • 帧率: 10 FPS
  • 通道数: 3
  • 无音频

具体图像特征包括：

• observation.images.wrist
• observation.images.wrist_semantic
• observation.images.left_shoulder
• observation.images.left_shoulder_semantic
• observation.images.right_shoulder
• observation.images.right_shoulder_semantic

动作（action）

• 数据类型: float32
• 形状: [8]
• 特征名称: j1, j2, j3, j4, j5, j6, j7, gripper

其他特征

• next.reward: 奖励值（float32, [1]）
• action.skill_id: 技能ID（int32, [1]）
• timestamp: 时间戳（float32, [1]）
• frame_index: 帧索引（int64, [1]）
• episode_index: 片段索引（int64, [1]）
• index: 索引（int64, [1]）
• task_index: 任务索引（int64, [1]）

创建信息

• 创建工具: LeRobot（https://github.com/huggingface/lerobot）

引用信息

• 论文: 未提供
• BibTeX引用: 未提供

搜集汇总

数据集介绍

构建方式

在机器人技术领域，INSIGHT-guide-nd-1数据集依托LeRobot框架构建，采用Franka Panda机器人平台进行数据采集。该数据集通过记录20个完整任务片段，以10fps的采样频率捕获了1520帧多维观测数据，涵盖关节状态、末端执行器位姿及多视角视觉信息，并以标准化Parquet格式高效存储，确保了数据的完整性与可访问性。

使用方法

研究人员可通过HuggingFace平台获取该数据集，利用Parquet文件读取工具加载分块存储的序列数据。每个数据帧包含时间戳、帧索引及任务标识元数据，支持按片段索引提取训练集。典型应用场景包括端到端策略学习、行为克隆模型训练，以及多传感器融合算法验证，使用者需依据LeRobot代码库v2.1版本规范进行数据流水线构建。

背景与挑战

背景概述

机器人学习领域近年来在模仿学习与强化学习融合方面取得显著进展，INSIGHT-guide-nd-1数据集作为LeRobot项目的重要组成部分，专为Franka Panda机械臂设计。该数据集通过多视角视觉传感器与高维状态观测数据，记录了20个完整操作序列，旨在推动机器人技能迁移与自主决策能力的发展。其结构化数据格式与丰富的时间序列信息为研究端到端机器人控制策略提供了重要基础。

当前挑战

该数据集核心挑战在于解决高维连续动作空间下的机器人精细操作问题，需协调多模态传感器数据与运动控制的映射关系。构建过程中面临多摄像头时序同步、机械臂状态精确标定、以及大规模视频数据压缩存储等技术难点，同时需保证操作演示的一致性与任务完成的可靠性。

常用场景

经典使用场景

在机器人学习领域，INSIGHT-guide-nd-1数据集为模仿学习与强化学习算法提供了丰富的多模态训练资源。其经典使用场景集中于机械臂操作任务的策略训练，通过整合Franka Panda机械臂的关节状态、末端执行器位姿及多视角视觉信息，支持端到端的动作预测模型开发。该数据集的结构化设计使得研究者能够高效地训练神经网络理解复杂环境中的状态-动作映射关系。

解决学术问题

该数据集显著解决了机器人操作任务中样本效率低下与泛化能力不足的学术难题。通过提供精确的时空对齐多模态数据，支持研究者探索基于视觉的强化学习、跨模态表征学习等前沿方向。其包含的语义分割视觉通道更为场景理解与物体操作提供了新的研究维度，对推动具身智能的发展具有重要理论价值。

实际应用

在实际工业自动化场景中，该数据集可直接应用于柔性制造系统的技能迁移。基于数据集训练的模型能够指导机械臂完成精密装配、物料分拣等任务，显著降低传统编程的复杂度。其多视角视觉数据与状态动作对的对应关系，为构建适应真实环境光照与物体变化的鲁棒控制系统提供了关键数据支撑。

数据集最近研究

最新研究方向

在机器人学习领域，INSIGHT-guide-nd-1数据集凭借其多模态观测与动作序列的精细标注，正成为模仿学习与强化学习研究的重要资源。该数据集通过Franka Panda机械臂采集的关节状态、末端执行器位姿及多视角视觉数据，为技能泛化与跨任务迁移学习提供了丰富样本。近年来，结合Transformer架构的行为克隆方法展现出卓越的时序建模能力，推动机器人动作预测精度显著提升。语义分割视觉通道的引入进一步拓展了场景理解与物体操纵的联合优化路径，为具身智能在真实环境中的自适应决策奠定数据基础。