INSIGHT-dataset-2

这是一个关于机器人操作的数据集，包含20个 episodes，每个episode包含1280帧数据，共120个视频文件。数据集使用franka_panda类型的机器人，支持多种类型的观察数据，包括关节状态、速度、位置等信息，以及手腕和肩膀的图像和深度图。数据集还包含了动作、奖励和技能ID等信息。数据以Parquet格式存储，视频使用av1编码。

原始信息汇总

数据集概述

基本信息

• 许可证: apache-2.0
• 任务类别: 机器人学
• 标签: LeRobot

数据集结构

• 总任务数: 1
• 总片段数: 20
• 总帧数: 1280
• 总视频数: 120
• 总数据块数: 1
• 数据块大小: 1000
• 帧率: 10 fps
• 分割: 训练集 (0:20)

数据格式

• 数据路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征描述

观测数据

• observation.state: 34维浮点数组，包含末端执行器位置、四元数、关节角度、速度、力矩等
• observation.images.wrist: 手腕摄像头视频，尺寸3x480x640
• observation.images.wrist_semantic: 手腕语义分割视频，尺寸3x480x640
• observation.images.left_shoulder: 左肩摄像头视频，尺寸3x480x640
• observation.images.left_shoulder_semantic: 左肩语义分割视频，尺寸3x480x640
• observation.images.right_shoulder: 右肩摄像头视频，尺寸3x480x640
• observation.images.right_shoulder_semantic: 右肩语义分割视频，尺寸3x480x640
• observation.wrist_depth: 手腕深度图，尺寸1x480x640
• observation.left_shoulder_depth: 左肩深度图，尺寸1x480x640
• observation.right_shoulder_depth: 右肩深度图，尺寸1x480x640

动作数据

• action: 8维浮点数组，包含7个关节角度和1个夹爪控制

其他数据

• next.reward: 奖励信号
• action.skill_id: 技能ID
• timestamp: 时间戳
• frame_index: 帧索引
• episode_index: 片段索引
• index: 索引
• task_index: 任务索引

技术信息

• 代码库版本: v2.1
• 机器人类型: franka_panda
• 视频编码: av1
• 像素格式: yuv420p
• 音频: 无

搜集汇总

数据集介绍

构建方式

在机器人技术领域，INSIGHT-dataset-2数据集通过LeRobot平台系统采集，采用Franka Panda机械臂执行任务，构建过程涵盖20个完整情节，总计1280帧数据，以10fps的采样率记录多模态观测与动作序列，数据以分块parquet格式存储，确保高效访问与完整性。

特点

该数据集集成多维特征，包括34维浮点型状态观测（末端执行器位姿、关节角度与速度）、多视角RGB与语义图像（腕部、左肩、右肩视角，分辨率480x640）、深度图及8维动作向量，支持机器人强化学习与视觉运动控制研究，具备高精度时空对齐与丰富语义标注。

使用方法

研究者可通过加载parquet文件直接访问帧级数据，利用观测字段（如图像、状态、深度）与动作字段训练行为克隆或强化学习模型，视频路径支持可视化验证，任务索引与情节划分便于评估算法在特定场景下的泛化性能与稳定性。

背景与挑战

背景概述

INSIGHT-dataset-2作为机器人操作领域的重要数据资源，由HuggingFace的LeRobot项目团队构建，专注于弗兰卡潘达机械臂的多模态操作任务研究。该数据集通过整合高维状态观测数据、多视角视觉信息及深度感知信号，为机器人模仿学习与强化学习算法提供了丰富的训练样本。其核心价值在于实现了从原始传感器输入到动作输出的端到端映射，显著推动了具身智能系统在复杂环境中的自适应能力发展。

当前挑战

该数据集需解决机器人操作任务中高维连续动作空间的精确建模问题，以及多模态传感器数据的时空对齐难题。构建过程中面临多视角视频同步采集的技术挑战，需确保机械臂状态数据与视觉帧的毫秒级精度同步。此外，语义分割视频与深度图像的标定工作量巨大，且需维持数据采集过程中环境光照与机械臂运动轨迹的稳定性。

常用场景

经典使用场景

在机器人学习领域，INSIGHT-dataset-2数据集以其丰富的多模态数据成为模仿学习与强化学习算法的理想测试平台。该数据集通过Franka Panda机械臂采集的20个完整任务序列，包含1280帧高精度关节状态、末端执行器位姿及多视角视觉数据，为研究者提供了机器人动作与感知的同步映射关系。经典应用场景包括基于视觉的端到端策略学习，其中算法通过腕部、左肩和右肩摄像头捕捉的环境图像，结合34维状态观测值，预测机械臂的8维动作输出，实现精细化的操作任务复现。

实际应用

工业自动化是INSIGHT-dataset-2的重要应用领域，其采集的精密操作数据可直接用于装配线机器人的技能优化。通过分析机械臂的抓取力度控制与轨迹规划数据，企业能够开发出更高效的物料分拣系统。在医疗机器人领域，该数据集提供的精细动作记录为手术机器人的力反馈控制提供了训练依据。此外，智能家居中的服务机器人也可借助该数据学习人类生活场景中的物品操作范式，实现更自然的人机交互体验。

衍生相关工作

基于该数据集衍生的经典工作包括多模态融合的模仿学习框架，其中研究者通过联合训练视觉编码器与状态预测器，实现了跨视角的动作生成。LeRobot团队进一步开发了分层强化学习系统，利用数据集中标注的技能标识符（skill_id）构建了可组合的任务策略库。另一些研究则聚焦于从高维视频数据中提取操作语义表示，推动了视觉-动作对应关系建模的发展。这些工作共同促进了机器人学习从孤立任务向通用技能范式的转变。