cmu_stretch

该数据集是通过LeRobot创建的，主要用于机器人学习任务。数据集包含135个episodes，25016帧数据，5个任务。数据包括观察图像（128x128x3）、语言指令、机器人状态（4个电机状态）、动作（8个电机状态）、时间戳、episode索引、帧索引、奖励、完成标志等。数据格式为parquet，视频格式为mp4，帧率为5fps。数据集适用于机器人视觉和动作学习研究。This dataset was developed via LeRobot, primarily targeting robotic learning tasks. It contains 135 episodes, 25016 frames of data, and covers 5 distinct tasks. The included data modalities are observed images (128×128×3), language instructions, robot states (4 motor states), actions (8 motor states), timestamps, episode indices, frame indices, rewards, completion flags, and other relevant information. The data is stored in Parquet format, while the supporting videos are in MP4 format with a frame rate of 5 fps. This dataset is suitable for research in robotic vision and action learning.

原始信息汇总

数据集概述

基本信息

• 名称: cmu_stretch
• 主页: https://robo-affordances.github.io/
• 论文: https://arxiv.org/abs/2304.08488
• 许可证: MIT
• 任务类别: 机器人学
• 标签: LeRobot

数据集结构

• 总片段数: 135
• 总帧数: 25016
• 总任务数: 5
• 总视频数: 135
• 总块数: 1
• 块大小: 1000
• 帧率: 5 fps
• 分割: 训练集 (0:135)

数据文件路径

• 数据路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征

1. observation.images.image

   • 类型: 视频
   • 形状: [128, 128, 3]
   • 视频信息:
     • 帧率: 5.0
     • 编解码器: av1
     • 像素格式: yuv420p
     • 深度图: 否
     • 音频: 无

2. language_instruction

   • 类型: 字符串
   • 形状: [1]

3. observation.state

   • 类型: float32
   • 形状: [4]
   • 名称: motor_0, motor_1, motor_2, motor_3

4. action

   • 类型: float32
   • 形状: [8]
   • 名称: motor_0, motor_1, motor_2, motor_3, motor_4, motor_5, motor_6, motor_7

5. timestamp

   • 类型: float32
   • 形状: [1]

6. episode_index

   • 类型: int64
   • 形状: [1]

7. frame_index

   • 类型: int64
   • 形状: [1]

8. next.reward

   • 类型: float32
   • 形状: [1]

9. next.done

   • 类型: bool
   • 形状: [1]

10. index

    • 类型: int64
    • 形状: [1]

11. task_index

    • 类型: int64
    • 形状: [1]

引用

BibTeX

bibtex @inproceedings{bahl2023affordances, title={Affordances from Human Videos as a Versatile Representation for Robotics}, author={Bahl, Shikhar and Mendonca, Russell and Chen, Lili and Jain, Unnat and Pathak, Deepak}, booktitle={CVPR}, year={2023} }

@article{mendonca2023structured, title={Structured World Models from Human Videos}, author={Mendonca, Russell and Bahl, Shikhar and Pathak, Deepak}, journal={CoRL}, year={2023} }

搜集汇总

数据集介绍

构建方式

在机器人学习领域，数据集的构建方式直接决定了模型泛化能力的边界。cmu_stretch数据集依托LeRobot框架，通过精心设计的遥操作采集流程，汇聚了135个有效演示片段，总计超过25000帧的高质量交互数据。数据集覆盖5种不同的操作任务，每个片段均以5帧/秒的采样率记录，确保了时间维度的连续性。数据以Parquet格式高效存储，并辅以MP4视频文件，实现了结构化数据与视觉信息的完整统一。构建过程中，每个episode均包含完整的观测状态、动作序列及语言指令，为模仿学习与行为克隆提供了坚实的底层数据支撑。

特点

该数据集的核心特色在于其多模态与结构化并重的设计哲学。观测空间融合了128×128分辨率的RGB视觉图像与4维电机状态向量，动作空间则扩展至8维，涵盖更精细的关节控制。尤为突出的是，每条轨迹均配有自然语言指令，将语言模态与物理动作进行对齐，为语言条件策略的研究提供了直接素材。此外，数据集明确划分了训练集与验证集，并内置了时间戳、帧索引及任务标签等元信息，极大便利了序列建模与任务分割。这种层次分明的特征设计，使得cmu_stretch成为研究视觉-语言-动作联合表征的理想平台。

使用方法

使用cmu_stretch数据集时，研究者可借助LeRobot库实现高效加载与预处理。通过读取Parquet文件与对应视频，能够轻松获取同步的图像序列、状态向量及动作标签。数据集内置的episode_index与frame_index字段支持按片段索引进行批处理，而task_index则允许针对特定任务进行数据筛选。对于语言条件策略的训练，可直接提取language_instruction字段，将其与观测图像拼接作为模型输入。同时，next.reward与next.done字段为强化学习环境中的回报计算与终止判断提供了即用接口。整个数据管道设计兼顾了灵活性，可无缝嵌入PyTorch或TensorFlow的训练流程。

背景与挑战

背景概述

在机器人学习领域，如何从人类演示中提取可迁移的操控技能一直是核心研究议题。cmu_stretch数据集由卡内基梅隆大学的研究人员Shikhar Bahl、Russell Mendonca等人于2023年创建，旨在探索将人类视频中的可供性表征（affordances）应用于机器人操作。该数据集基于Stretch机器人平台，包含135个演示片段、总计25,016帧、涵盖5类任务，每个片段均配有语言指令、状态信息和动作序列。其核心研究问题在于验证从人类视频中学习的视觉表征能否直接引导机器人执行未见过的操作任务，从而降低对大量机器人特定数据的依赖。该工作发表于CVPR 2023，后续相关研究进一步拓展了结构化世界模型的应用，对机器人领域的跨模态学习与泛化能力产生了重要影响。

当前挑战

该数据集所应对的领域挑战主要在于机器人操控技能的可迁移性不足，传统方法需要针对每类任务收集大量机器人演示数据，成本高昂且泛化困难。cmu_stretch通过利用人类视频中蕴含的丰富可供性信息，试图解决数据稀缺与跨任务迁移问题，然而构建过程中面临多重障碍：一是如何从高维人类视频中提取与机器人动作空间一致的可供性表征，避免语义鸿沟；二是数据采集时需确保机器人演示的动作序列与语言指令精确对齐，但实际中存在噪声与歧义；三是仅有135个片段的小规模数据集难以覆盖复杂场景，且机器人类型（‘unknown’）限制了其在不同硬件平台上的直接复用。这些挑战共同制约了模型在真实世界中的鲁棒性与部署效能。

常用场景

经典使用场景

cmu_stretch数据集收录了135条机械臂操作轨迹，涵盖5种精细操作任务，每条轨迹以5帧每秒的速率记录了128×128像素的视觉观测、4维关节状态与8维动作指令。该数据集专为模仿学习与行为克隆范式设计，研究者可利用其稠密的观测-动作对训练策略网络，使机器人从人类演示中习得诸如抓取、放置等灵巧操作技能。其标准化的parquet存储格式与LeRobot框架的深度适配，为多任务策略的端到端训练提供了可复现的基准平台。

衍生相关工作

该数据集源自Bahl等人提出的基于人类视频的可操作能力表征框架（CVPR 2023），其姊妹工作进一步将结构化的世界模型拓展至机器人操作领域（CoRL 2023）。在LeRobot社区中，该数据集已被用作基准来评估扩散策略、基于Transformer的隐式规划等前沿算法，并催生了关于跨任务数据增强、多模态表征解耦等方向的后续研究，成为连接计算机视觉与机器人学交叉创新的关键数据纽带。

数据集最近研究

最新研究方向

在机器人学习领域，cmu_stretch数据集正成为推动具身智能体从人类视频中学习可泛化操作技能的关键资源。当前前沿研究聚焦于利用该数据集探索机器人如何通过观察人类演示视频，提取与物体功能相关的“可供性”表征，从而在未见环境中实现零样本或少样本的任务泛化。该数据集包含135个高质量遥操作演示片段，覆盖5种精细操作任务，并提供了128x128像素的视觉观测、4维电机状态及8维动作空间，为模仿学习与强化学习算法提供了标准化的训练与评估基准。结合其提出的结构化世界模型方法，该数据集正被用于研究如何将人类视频中的先验知识迁移至机器人本体，以解决传统机器人学习中数据效率低下与泛化能力不足的瓶颈。这一方向与近期具身智能体在家庭服务、工业装配等复杂场景中的落地需求紧密相关，其意义在于为构建能够理解物体可供性并自主规划动作的通用机器人系统奠定了数据基础，有望加速机器人从实验室走向真实物理世界的进程。