unitree-g1-dex3-1-pick-kettle-white-table

该数据集是一个机器人学数据集，使用LeRobot创建。数据集包含83个 episodes，总计20322帧，涉及1个任务和249个视频。数据采集自Unitree_G1_Dex3机器人，帧率为30fps。数据集结构包括观察状态（28个浮点型特征，如左右肩、肘、腕等关节角度）、动作（28个浮点型特征，与观察状态对应）、图像数据（来自左高灰度相机、右高灰度相机和RGB高相机的视频，分辨率和格式各异）、深度数据（480x640的uint16类型）以及时间戳、帧索引、episode索引等辅助信息。数据以parquet文件格式存储，视频文件为MP4格式。适用于机器人控制、行为模仿等任务。

原始信息汇总

数据集概述

基本信息

• 数据集名称： unitree-g1-dex3-1-pick-kettle-white-table
• 任务类别： 机器人学
• 标签： LeRobot
• 许可证： Apache License 2.0
• 创建工具： 使用 LeRobot 创建

数据集结构

• 总任务数： 1
• 总情节数： 83
• 总帧数： 20322
• 总视频数： 249
• 数据块数： 1
• 数据块大小： 1000
• 帧率： 30 FPS
• 数据分割： 训练集（0:83）
• 数据格式： Parquet
• 代码库版本： v2.1
• 机器人类型： Unitree_G1_Dex3

数据文件路径

• 数据路径： data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径： videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

数据特征

观测数据

• observation.state

  • 数据类型： float32
  • 形状： [28]
  • 内容： 28个机器人关节状态，包括左/右肩、肘、腕及手部各关节角度。

• observation.images.cam_gray_left_high

  • 数据类型： 视频
  • 形状： [400, 424, 3]
  • 视频信息： 高度400像素，宽度424像素，3通道，AV1编码，YUV420p像素格式，非深度图，30 FPS，无音频。

• observation.images.cam_gray_right_high

  • 数据类型： 视频
  • 形状： [400, 424, 3]
  • 视频信息： 高度400像素，宽度424像素，3通道，AV1编码，YUV420p像素格式，非深度图，30 FPS，无音频。

• observation.images.cam_rgb_high

  • 数据类型： 视频
  • 形状： [480, 640, 3]
  • 视频信息： 高度480像素，宽度640像素，3通道，AV1编码，YUV420p像素格式，非深度图，30 FPS，无音频。

• observation.depths.depth_high

  • 数据类型： uint16
  • 形状： [480, 640]
  • 内容： 深度图，高度480像素，宽度640像素。

动作数据

• action
  • 数据类型： float32
  • 形状： [28]
  • 内容： 28个机器人关节动作，关节名称与观测状态一致。

元数据

• timestamp

  • 数据类型： float32
  • 形状： [1]

• frame_index

  • 数据类型： int64
  • 形状： [1]

• episode_index

  • 数据类型： int64
  • 形状： [1]

• index

  • 数据类型： int64
  • 形状： [1]

• task_index

  • 数据类型： int64
  • 形状： [1]

引用信息

• 主页： 未提供
• 论文： 未提供
• BibTeX 引用： 未提供

搜集汇总

数据集介绍

构建方式

在机器人操作学习领域，高质量的真实世界交互数据对于模型训练至关重要。unitree-g1-dex3-1-pick-kettle-white-table数据集依托LeRobot平台构建，通过Unitree G1 Dex3双足机器人执行单一任务——在白色桌面上拾取水壶。数据采集过程系统记录了83个完整交互片段，涵盖超过2万帧时序数据，并以30帧每秒的速率同步捕获机器人关节状态、多视角视觉信息及深度数据，最终以Parquet格式进行高效结构化存储。

使用方法

研究者可利用该数据集进行机器人操作策略的离线训练与评估。数据按训练集划分，可直接加载Parquet文件获取每一帧的观测状态、执行动作及对应的时间戳与索引。多模态数据支持端到端策略学习，例如结合图像观测与关节状态来预测动作序列，或利用深度信息进行三维场景理解。数据集的结构化设计便于与主流机器人学习框架集成，用于行为克隆、逆强化学习等任务的基准测试。

背景与挑战

背景概述

在机器人学习领域，高质量的真实世界交互数据对于推动灵巧操作算法的进步至关重要。unitree-g1-dex3-1-pick-kettle-white-table数据集应运而生，它由HuggingFace的LeRobot项目团队创建，旨在为双臂仿人机器人Unitree G1 Dex3在特定桌面环境下的物体抓取任务提供详实的示范数据。该数据集聚焦于解决机器人从复杂视觉场景中理解并执行精细操作这一核心研究问题，其包含的多模态观测与动作序列为模仿学习与强化学习算法提供了宝贵的训练资源，有望加速家庭服务机器人等实用场景的技术落地。

当前挑战

该数据集致力于解决机器人灵巧操作中的视觉-动作协同挑战，即在非结构化环境中，仅凭视觉输入实现精确、鲁棒的物体抓取与操控。这一任务面临物体姿态估计、遮挡处理以及高维度连续动作规划等诸多难点。在数据构建过程中，挑战同样显著：如何确保大规模真实机器人数据采集的稳定与安全，如何高效同步与校准多路摄像头、深度传感器以及28自由度的关节状态数据，并最终将其处理为结构统一、时序对齐的标准化格式，这些都对数据采集系统的可靠性与数据处理流程的严谨性提出了极高要求。

常用场景

经典使用场景

在机器人操作学习领域，该数据集为双臂仿人机器人执行复杂抓取任务提供了标准化的演示数据。其核心应用场景聚焦于机器人模仿学习，通过记录Unitree G1 Dex3机器人抓取白色桌面上水壶的完整动作序列，包括关节状态、视觉观测与深度信息，为算法训练提供了多模态输入。研究者能够利用这些数据训练端到端的策略模型，使机器人学习从感知到执行的映射关系，从而在非结构化环境中实现精准的物体操控。

解决学术问题

该数据集有效应对了机器人操作中样本效率低下与泛化能力不足的学术挑战。通过提供高质量的真实世界演示数据，它支持数据驱动的模仿学习与强化学习研究，降低了在物理系统上直接探索的成本与风险。数据集的结构化设计允许学者深入探究多模态感知融合、动作序列建模以及跨任务迁移等关键问题，为开发鲁棒且通用的机器人操作算法奠定了实证基础。

实际应用

在现实世界的服务与工业自动化场景中，此类数据驱动的机器人学习具有广阔前景。基于该数据集训练的模型，可赋能双臂机器人完成家庭环境中的物品拾取、整理等日常任务，或应用于轻型装配、物流分拣等工业环节。其提供的深度与视觉信息尤其有助于机器人理解物体三维姿态与场景几何，提升在动态、杂乱环境中的操作成功率与安全性。

数据集最近研究

最新研究方向

在机器人操作领域，灵巧手与双臂协同控制正成为前沿探索的核心议题。Unitree G1 Dex3机器人凭借其高度仿生的多指灵巧手设计，为复杂物体抓取与精细操作提供了理想平台。该数据集聚焦于白色桌面场景下的水壶抓取任务，整合了关节状态、多视角视觉及深度信息，为模仿学习与强化学习算法提供了丰富训练素材。当前研究热点集中于跨模态表征学习，旨在融合视觉、深度与本体感知数据，以提升模型在动态环境中的泛化能力。随着开源机器人社区如LeRobot的兴起，此类高质量真实世界数据集的共享，正加速端到端策略学习的发展，推动家庭服务机器人向更自主、更灵巧的方向演进。