lerobot/umi_cup_in_the_wild

该数据集包含多个特征，如观察图像、观察状态、片段索引、帧索引、时间戳、片段数据索引范围、结束姿态、起始位置、夹爪宽度等。数据集分为训练集，包含699,432个样本，总大小为122,400,600字节，下载大小为45,352,918字节。

The dataset contains multiple features such as observation image, observation state, episode index, frame index, timestamp, episode data index range, end pose, start position, gripper width, etc. The dataset is divided into a training set, containing 699,432 samples, with a total size of 122,400,600 bytes and a download size of 45,352,918 bytes.

原始信息汇总

数据集概述

数据集特征

• observation.image

  • 数据类型: 视频帧

• observation.state

  • 数据类型: 序列（float32）
  • 长度: 7

• episode_index

  • 数据类型: int64

• frame_index

  • 数据类型: int64

• timestamp

  • 数据类型: float32

• episode_data_index_from

  • 数据类型: int64

• episode_data_index_to

  • 数据类型: int64

• end_pose

  • 数据类型: 序列（float32）
  • 长度: 6

• start_pos

  • 数据类型: 序列（float32）
  • 长度: 6

• gripper_width

  • 数据类型: 序列（float32）
  • 长度: 1

• index

  • 数据类型: int64

数据集划分

• train
  • 数据量: 122400600 字节
  • 示例数量: 699432

数据集大小

• 下载大小: 45352918 字节
• 数据集大小: 122400600 字节

配置

• default
  • 数据文件路径: data/train-*

搜集汇总

数据集介绍

构建方式

在机器人学习领域，高质量的真实世界数据集对于模型泛化能力至关重要。lerobot/umi_cup_in_the_wild数据集通过LeRobot平台在非结构化环境中采集，涵盖了1447个完整操作序列，总计近70万帧数据。数据以分块形式存储，每块包含1000帧，采用Parquet格式高效组织，并辅以AV1编码的同步视频流，帧率统一为10fps，确保了时序信息与传感器读数的精确对齐。

特点

该数据集的核心特征在于其多维度的观测表示，不仅提供224x224像素的三通道视觉图像，还同步记录七维关节状态向量及夹爪宽度等本体感知信息。数据标注体系完备，包含起始位姿、结束位姿、时间戳及任务索引等结构化元数据，支持端到端的模仿学习与强化学习研究。其独特的视频与传感器数据并行存储架构，为跨模态表征学习提供了天然基础。

使用方法

研究者可通过HuggingFace数据集库直接加载该数据集，利用其预定义的数据切片接口按任务或序列提取样本。视觉数据以视频帧序列形式呈现，可与关节状态数据通过时间戳进行跨模态对齐。数据集已划分为训练集，适用于行为克隆、动态模型学习等任务，配套的可视化工具支持实时回放操作轨迹，便于算法调试与结果分析。

背景与挑战

背景概述

在机器人学习领域，模仿学习与强化学习的发展亟需大规模、高质量的真实世界交互数据集作为支撑。lerobot/umi_cup_in_the_wild数据集由LeRobot团队创建，旨在为机器人操作任务提供丰富的视觉与状态序列数据。该数据集聚焦于机器人抓取与放置等核心操作问题，通过采集真实环境下的机械臂运动轨迹与视觉观测，为算法模型提供了逼近实际应用场景的训练资源，对推动机器人自主操作能力的泛化与适应具有重要价值。

当前挑战

该数据集致力于解决机器人操作任务在非结构化真实环境中的泛化挑战，其核心在于如何从高维视觉与状态数据中学习鲁棒且可迁移的控制策略。在构建过程中，面临数据采集一致性与完整性的难题，包括传感器噪声抑制、多模态数据同步对齐，以及长时序动作序列的标注与分割。此外，真实场景的照明变化、物体姿态多样性及背景干扰，进一步增加了数据清洗与特征提取的复杂性。

常用场景

经典使用场景

在机器人学习领域，视觉与运动控制的结合是提升自主操作能力的关键。lerobot/umi_cup_in_the_wild数据集以其丰富的真实世界交互数据，为模仿学习与强化学习算法提供了经典训练平台。该数据集包含1447个任务片段，涵盖图像观察与七维电机状态信息，支持研究者构建端到端的策略模型，使机器人能够从视觉输入中学习复杂的抓取与放置动作，模拟人类在非结构化环境中的操作行为。

实际应用

在实际部署中，该数据集可直接服务于家庭服务或工业装配机器人的技能学习。例如，基于其记录的抓取轨迹与视觉反馈，工程师能够训练机器人执行诸如杯具摆放、物品整理等精细操作任务。这些数据有助于优化机器人在动态环境中的适应能力，提升其完成日常物理交互任务的可靠性与安全性，为消费级与工业级机器人产品的智能化升级提供支持。

衍生相关工作

围绕该数据集，已衍生出一系列专注于视觉运动策略学习的经典工作。例如，基于LeRobot框架的研究者利用其开发了高效的离线强化学习与行为克隆方法，这些方法显著提升了机器人在少样本情况下的操作性能。后续工作进一步探索了多任务学习与跨领域适应，推动了机器人学习社区在真实世界数据驱动下的算法创新与基准建立。