let_dataset

LET数据集是基于全尺寸人形机器人Kuavo 4 Pro收集的，涵盖了多个场景和操作类型的真实世界多任务数据。它旨在支持机器人在真实环境中的操作、移动和交互任务，支持可扩展的机器人学习。数据集包括大规模、真实世界、全尺寸人形机器人多视角、多模态数据，涵盖工业、家庭、医疗和服务等多个领域，包括31个子任务场景，以及117个原子技能，如抓取、双手操作、使用工具等，总时长超过1000小时。数据经过专家标注和人工验证，确保高质量。数据集还提供了从数据转换、模型训练到推理和验证的完整工具链。

The LET Dataset is collected based on the full-size humanoid robot Kuavo 4 Pro, encompassing real-world multi-task data across multiple scenarios and operation types. It is designed to support robots' real-world operation, locomotion and interaction tasks, as well as enabling scalable robot learning. The dataset comprises large-scale, real-world multi-view and multi-modal data from full-size humanoid robots, covering multiple domains including industry, household, healthcare and service sectors. It includes 31 subtask scenarios and 117 atomic skills such as grasping, bimanual manipulation, tool utilization and more, with a total duration exceeding 1000 hours. All data has undergone expert annotation and manual verification to ensure high quality. The dataset also provides a complete toolchain spanning data conversion, model training, inference and validation.

原始信息汇总

LET: 全尺寸人形机器人真实世界数据集

数据集概述

LET数据集是基于全尺寸人形机器人Kuavo 4 Pro采集的真实世界多任务数据集，涵盖多个场景和操作类型，专为机器人操作、移动和交互任务设计，支持真实环境中的可扩展机器人学习。

关键特性

• 大规模、真实世界、全尺寸人形机器人多视角、多模态数据，持续更新
• 涵盖工业、家庭、医疗和服务等多个领域，包含31个子任务场景
• 包含抓取、双手操作、工具使用等117种原子技能，总时长超过1000小时
• 专家标注和人工验证数据，确保高质量
• 提供从数据转换、模型训练到推理验证的完整工具链

硬件平台

主要硬件平台为Kuavo 4 Pro及其轮式版本：

• 机器人参数： 高度1.66米，重量55公斤，支持热插拔电池
• 运动控制： 40个自由度，最大行走速度7公里/小时，支持双足自主SLAM
• 泛化能力： 支持多模态大模型（如Pangu、DeepSeek、ChatGPT），具备20+原子技能

任务与数据概览

覆盖场景

数据集涵盖汽车工厂、快消品、酒店服务、3C工厂、生活服务、物流等多种场景，包含多模态观测（RGB、深度、关节等）和丰富的原子技能（抓取、双手操作、工具使用等）。

语义标签

• 物体标签： 工业零件、餐具、日常用品、药品等
• 技能标签： 抓取、放置、旋转、推、拉、按压等
• 任务和场景标识符： 统一任务名称编码，场景维度区分操作上下文语义
• 末端执行器类型： 分别记录夹爪和灵巧手执行的动作
• 语言描述： 支持自然语言和动作对齐建模

数据集结构

目录结构

. ├── hdf5 │   ├── real │   │   ├── Labelled │   │   └── Unlabelled │   └── sim │   └── Unlabelled └── rosbag ├── real │   ├── Labelled │   └── Unlabelled └── sim └── Unlabelled

数据格式

ROSbag数据格式

主题类型	主题名称	消息类型	主要字段/描述
相机RGB图像	/cam_x/color/image_raw/compressed	sensor_msgs/CompressedImage	x为h/l/r，分别对应头部/左手腕/右手腕相机
相机深度图像	/cam_x/depth/image_rect_raw/compressed	sensor_msgs/CompressedImage	x为h/l/r，分别对应头部/左手腕/右手腕相机
手臂轨迹控制	/kuavo_arm_traj	sensor_msgs/JointState	14个关节，arm_joint_1~arm_joint_14
原始传感器数据	/sensors_data_raw	kuavo_msgs/sensorsData	关节数据、IMU数据、末端执行器数据
灵巧手位置	/control_robot_hand_position	kuavo_msgs/robotHandPosition	左右手6D位置，0打开，100关闭
灵巧手状态	/dexhand/state	sensor_msgs/JointState	12个关节位置、速度、电流
夹爪控制	/control_robot_leju_claw	kuavo_msgs/controlLejuClaw	左右夹爪目标位置，0打开，100关闭
夹爪状态	/leju_claw_state	kuavo_msgs/lejuClawState	夹爪状态和位置数据

使用指南

工具仓库

提供完整的工具仓库，包括：

• 数据转换工具（rosbag2lerobot）： 将rosbag文件转换为适合模型训练的格式
• 两种模仿学习模型： Diffusion Policy和ACT
• 模型训练脚本
• 真实机器人和仿真环境的代码和部署说明

开源仓库：https://github.com/LejuRobotics/kuavo_data_challenge

许可证

cc-by-nc-sa-4.0

搜集汇总

数据集介绍

构建方式

在机器人技术领域，LET数据集依托全尺寸人形机器人Kuavo 4 Pro平台，通过系统化采集真实环境中的多任务操作数据构建而成。该数据集覆盖工业、家居、医疗及服务等四大领域的31个子场景，累计采集时长超过1000小时，每个数据片段均经过专家标注与人工校验，确保语义标签的准确性与一致性。数据采集过程融合了多视角视觉传感器、关节运动轨迹及末端执行器状态等多模态信息，并采用标准化目录结构同时提供ROS数据包与HDF5两种存储格式，为机器人学习研究提供了高可靠性的真实世界数据基础。

特点

作为面向全尺寸人形机器人的多模态数据集，LET的突出特点体现在其大规模、多维度与精细化三个层面。数据集包含头部、左右腕部相机采集的RGB与深度图像，同步记录40自由度关节运动数据及灵巧手/夹爪的精细操作状态，形成完整的感知-动作闭环。其独特的语义标注体系将复杂任务分解为117种原子技能，并配备自然语言描述与时间轴对齐，支持从物体识别、技能分类到任务推理的多层次研究需求。此外，数据集持续更新机制与仿真数据的补充，进一步拓展了其在跨领域泛化研究中的价值。

使用方法

针对机器人学习研究者的使用需求，LET数据集提供了完整的工具链支持。用户可通过开源工具库中的rosbag2lerobot工具将原始ROS数据转换为标准HDF5格式，直接适配主流的模仿学习框架。数据集按场景与标注状态分层组织，研究者可根据任务需求选择已标注数据用于监督学习，或利用未标注数据探索自监督学习方法。配套提供的Diffusion Policy与ACT模型训练脚本，以及真实机器人与仿真环境的部署指南，显著降低了从数据预处理到模型验证的全流程开发门槛，助力机器人操作、移动与交互任务的算法创新。

背景与挑战

背景概述

LET数据集由乐聚机器人公司基于全尺寸人形机器人Kuavo 4 Pro构建，聚焦于真实环境下的机器人操作与交互任务。该数据集覆盖工业、家居、医疗等多元场景，囊括31个子任务场景与117项原子技能，总时长逾千小时，旨在推动具身智能在复杂物理环境中的泛化能力研究。通过多视角视觉数据与多模态传感器融合，该资源为机器人模仿学习与行为克隆提供了大规模基准，标志着人形机器人从实验室走向实际应用的关键突破。

当前挑战

该数据集需解决人形机器人跨场景任务泛化的核心难题，包括动态环境中多模态感知对齐、高维动作空间策略优化等问题。构建过程中面临真实世界数据采集的复杂性，如多传感器时序同步、机械臂与灵巧手协同控制的标定误差，以及专家标注中动作语义分解的一致性保障。此外，从原始ROS数据到标准化训练格式的转换需克服异构硬件接口与仿真-现实差异带来的数据偏差。

常用场景

经典使用场景

在机器人学习领域，LET数据集作为全尺寸人形机器人真实世界多任务数据的典范，其经典应用聚焦于模仿学习与行为克隆研究。数据集涵盖工业装配、物流分拣、生活服务等31个子场景，通过多视角视觉数据与关节运动轨迹的同步记录，为Diffusion Policy和ACT等模仿学习算法提供了丰富的训练素材。研究者能够基于这些真实交互数据，构建从感知到控制的端到端策略网络，显著提升机器人在复杂环境中的任务泛化能力。

实际应用

在产业落地层面，LET数据集支撑的算法已广泛应用于智能制造与服务业。基于该数据训练的模型成功部署于汽车工厂零件分拣、酒店客房服务配送等场景，实现了从演示数据到实际操作的闭环。其提供的完整工具链包括数据转换、模型训练到仿真验证，显著降低了机器人技能部署门槛，为工业4.0背景下的柔性生产线改造提供了技术保障。

衍生相关工作

围绕该数据集衍生的经典工作包括基于多模态Transformer的跨任务技能迁移框架，以及结合大语言模型的语义动作生成系统。开源社区构建的kuavo_data_challenge项目整合了Diffusion Policy与ACT两种主流模仿学习范式，推动了真实机器人数据标准化进程。这些工作通过统一的数据接口与评估标准，形成了从基础研究到产业应用的完整创新链条。