cmu_stretch_lerobot

该数据集是使用LeRobot创建的机器人数据集，涉及'hello_stretch'机器人类型。数据集包含135个片段，25016帧，5个任务和135个视频。数据格式包括观察图像（128x128x3）、状态（8维浮点数）、动作（7维浮点数）以及时间戳等。数据以parquet格式存储，视频以mp4格式存储。数据集采用apache-2.0许可证。

This is a robotic dataset constructed using LeRobot, compatible with the 'hello_stretch' robot platform. The dataset comprises 135 segments, 25016 frames, 5 tasks, and 135 video clips. Its data modalities include 128x128x3 observation images, 8-dimensional floating-point state vectors, 7-dimensional floating-point action vectors, and timestamps, among other related fields. Structured data is stored in Parquet format, whereas the video clips are saved in MP4 format. This dataset is released under the Apache-2.0 license.

搜集汇总

数据集介绍

构建方式

在机器人学习领域，高质量的数据集是推动算法进步的关键基石。cmu_stretch_lerobot数据集基于LeRobot框架构建，旨在为机器人操作任务提供标准化数据支持。该数据集采集自Hello Stretch机器人平台，共包含135个演示片段，总计25016帧时序数据，覆盖5种不同的操作任务。数据以Parquet格式存储，并辅以AV1编码的视频文件，确保高效存取。数据集采用分块存储策略，将数据组织为单个大小为1000的块，便于分布式处理与加载。

特点

该数据集的核心特色在于其多维度的结构化设计。观测空间融合了128×128分辨率的RGB图像与8维状态向量，涵盖机器人末端执行器的三维位置、三轴姿态、夹爪开度及垫板压力，提供了丰富的环境感知信息。动作空间则为7维连续控制信号，排除了垫板维度，精准映射机器人的运动指令。此外，数据以10帧每秒的采样频率记录，并包含精确的时间戳与帧索引，为时序建模和策略学习奠定了坚实基础。

使用方法

使用该数据集时，研究者可借助LeRobot库的标准化接口进行加载与预处理。数据按照训练集与验证集划分，默认所有135个片段均用于训练。通过读取Parquet文件中的特征字段，可轻松获取观测图像、状态向量及动作序列。视频数据以MP4格式独立存储，支持高效流式读取。用户可基于提供的元信息灵活构建数据加载器，适用于模仿学习、行为克隆或离线强化学习等机器人学习任务，实现从数据到策略的无缝衔接。

背景与挑战

背景概述

在机器人学习领域，数据驱动的操作技能获取正成为研究热点，而高保真、可复现的示范数据集是推动这一进程的关键基石。由CMU与LeRobot社区于近年联合构建的cmu_stretch_lerobot数据集，聚焦于Hello Stretch移动操作平台，旨在为双臂协调与灵巧操作任务提供标准化训练资源。该数据集共计收录135个示范片段，覆盖5种典型任务，包含超过25,000帧128×128像素的视觉状态与8维机器人本体状态信息，并采用Apache-2.0许可协议开源。其核心研究问题在于弥合仿真与真实环境间的迁移鸿沟，为模仿学习与强化学习算法提供跨任务、多模态的基准测试平台，对推动家庭服务机器人操作能力的泛化研究具有重要影响。

当前挑战

该数据集所解决的领域问题聚焦于真实机器人操作中的长程任务规划与状态-动作空间对齐挑战。具体而言，Hello Stretch的移动基座与柔性关节结构导致高维度状态空间（8维）与动作空间（7维）存在非线性映射，传统端到端学习方法易陷入局部最优。构建过程中，数据采集面临机械臂末端执行器与视觉传感器之间的标定误差累积问题，同时5类任务（如抓取、推拉）的示范轨迹在时序一致性上存在显著差异。此外，受限于135个片段的有限规模，模型在未见环境下的泛化能力仍受数据稀缺性的制约，如何通过数据增强或迁移学习策略缓解这一瓶颈是当前的核心挑战。

常用场景

经典使用场景

cmu_stretch_lerobot数据集专为机器人操控领域的模仿学习与行为克隆研究而设计，其核心应用在于利用Hello Stretch机器人平台采集的高质量多模态数据，训练智能体从视觉观测与状态信息中直接映射出连续动作序列。该数据集包含135个完整演示片段，覆盖5种不同任务，每帧记录128×128像素的RGB图像、8维关节状态及7维动作指令，为端到端策略学习提供了标准化基准。研究者常将其作为验证模仿学习算法在真实机器人平台上泛化能力的实验床，尤其适用于评估模型在有限演示数据下的任务完成精度与鲁棒性。

实际应用

在实际应用层面，该数据集赋能了家庭服务机器人、仓储物流及医疗辅助等场景中操控技能的快速部署。基于其训练的模型可直接迁移至Hello Stretch实体机器人，完成物品抓取、桌面整理等精细操作任务，显著降低人工编程与调试成本。数据集与LeRobot工具链的结合，使得机器人开发者能够轻松复现前沿算法并针对特定应用场景进行微调，例如通过领域随机化增强模型对新物体或光照条件的适应性，从而提升实际部署中的可靠性与安全性。

衍生相关工作

该数据集催生了一系列基于模仿学习与离线强化学习的代表性工作，例如利用扩散策略（Diffusion Policy）从多模态观测中生成平滑动作轨迹的方法，以及结合时序卷积网络进行行为克隆以提升长程任务成功率的架构。此外，它还被用于验证隐式行为克隆（Implicit Behavioral Cloning）与能量基模型（Energy-Based Models）在机器人操控中的有效性。这些衍生研究不仅深化了对数据驱动策略学习机制的理解，还推动了LeRobot生态中更多高质量基准数据集的构建，形成了从数据采集、算法验证到开源工具链的完整研究闭环。