CupPlateHold-EpisodeTime30

这是一个使用 LeRobot 创建的机器人数据集，包含 30 个 episodes 和 26910 个 frames，总共包含一个任务。数据集以 Apache-2.0 许可证发布。数据集的结构包括行动、观察状态、前后左右图像、时间戳、帧索引、集索引和任务索引等特征。

This is a robotic dataset created with LeRobot, containing 30 episodes and 26,910 frames, and focusing on one single task. The dataset is released under the Apache-2.0 license. The structure of the dataset includes features such as actions, observation states, front, rear, left and right images, timestamps, frame indices, set indices, and task indices.

原始信息汇总

CupPlateHold-EpisodeTime30 数据集概述

基本信息

• 许可证: Apache-2.0
• 任务类别: 机器人学
• 标签: LeRobot
• 创建工具: LeRobot (https://github.com/huggingface/lerobot)

数据集规模

• 总任务数: 1
• 总回合数: 30
• 总帧数: 26910
• 帧率: 30 FPS
• 数据文件大小: 100 MB
• 视频文件大小: 500 MB
• 分块大小: 1000
• 数据分割: 训练集 (0:30)

数据结构

数据文件路径

• 数据文件: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

特征描述

动作特征 (action)

• 数据类型: float32
• 维度: 12
• 关节位置:
  • 左肩平移位置
  • 左肩抬升位置
  • 左肘弯曲位置
  • 左腕弯曲位置
  • 左腕旋转位置
  • 左夹爪位置
  • 右肩平移位置
  • 右肩抬升位置
  • 右肘弯曲位置
  • 右腕弯曲位置
  • 右腕旋转位置
  • 右夹爪位置

观测状态 (observation.state)

• 数据类型: float32
• 维度: 12
• 关节位置 (与动作特征相同)

图像观测

前视角图像 (observation.images.front)

• 数据类型: 视频
• 分辨率: 480×640×3
• 视频编码: AV1
• 像素格式: yuv420p
• 非深度图

右视角图像 (observation.images.right)

• 数据类型: 视频
• 分辨率: 480×640×3
• 视频编码: AV1
• 像素格式: yuv420p
• 非深度图

左视角图像 (observation.images.left)

• 数据类型: 视频
• 分辨率: 480×640×3
• 视频编码: AV1
• 像素格式: yuv420p
• 非深度图

索引信息

• 时间戳: float32[1]
• 帧索引: int64[1]
• 回合索引: int64[1]
• 数据索引: int64[1]
• 任务索引: int64[1]

技术规格

• 代码库版本: v3.0
• 机器人类型: bi_so101_follower
• 所有视频均无音频

搜集汇总

数据集介绍

构建方式

在机器人操作研究领域，CupPlateHold-EpisodeTime30数据集通过LeRobot平台精心构建，采用双机械臂系统bi_so101_follower进行数据采集。该数据集包含30个完整交互序列，总计26910帧数据，以30帧每秒的速率记录。数据以分块形式存储于Parquet文件中，每块包含1000帧，并同步保存前视、左视与右视三路视频流，采用AV1编码确保高效压缩与视觉质量。

使用方法

研究人员可通过解析Parquet文件直接访问结构化数据，利用帧索引与分块机制实现高效数据加载。视频数据可通过指定路径动态解码，配合动作与状态特征构建端到端模仿学习管道。该数据集专为训练机器人抓取任务设计，支持从多模态输入预测连续动作序列，其标准化格式确保与主流强化学习框架的兼容性。

背景与挑战

背景概述

在机器人操作任务研究领域，双机械臂协同控制始终是提升自动化水平的关键技术方向。CupPlateHold-EpisodeTime30数据集由HuggingFace的LeRobot项目团队构建，专注于记录双机械臂执行杯盘抓持任务的完整交互过程。该数据集通过采集30个任务片段、26910帧多维数据，完整呈现了机械臂关节状态、多视角视觉观测与动作指令的时序关联，为模仿学习与强化学习算法提供了真实世界的物理交互基准。

当前挑战

该数据集致力于解决双机械臂精细操作中的动作规划与多模态感知融合问题，其核心挑战在于高维连续动作空间下的协同控制精度不足。在构建过程中，面临多路高清视频流同步存储带来的数据冗余挑战，以及双机械臂12自由度关节轨迹标定误差的累积问题。此外，异质传感器时序对齐与真实环境动态扰动也增加了数据质量的保障难度。

常用场景

经典使用场景

在机器人操作学习领域，CupPlateHold-EpisodeTime30数据集为双臂协作任务提供了标准化的实验平台。该数据集通过记录双手机器人执行杯盘抓取动作的完整轨迹，包含多视角视觉观测与12维关节控制指令，成为模仿学习与强化学习算法的典型验证基准。研究者可利用其时空对齐的多模态数据流，构建从感知到控制的端到端策略网络，推动机器人精细操作能力的发展。

解决学术问题

该数据集有效解决了机器人技能迁移中的动作泛化难题。通过提供真实机械臂的连续关节空间轨迹与同步视觉反馈，填补了仿真环境与真实世界之间的语义鸿沟。其密集标注的时序动作序列为研究动作分割、状态表征学习等基础问题提供支撑，显著降低了复杂操作任务的算法验证门槛，对机器人自主学习范式的演进具有奠基意义。

实际应用

基于该数据集训练的模型可直接应用于服务机器人领域。在智能家居场景中，双臂机器人能够精准完成餐具整理、物品递送等日常任务，其多视角视觉系统确保在非结构化环境中的操作可靠性。工业制造领域亦可借鉴其双工位协调控制模式，用于精密装配流水线，提升生产环节的自动化水平与操作安全性。

数据集最近研究

最新研究方向

在机器人操作学习领域，CupPlateHold-EpisodeTime30数据集凭借其双机械臂操作场景与多模态观测特性，正推动模仿学习与视觉运动策略的前沿探索。该数据集通过整合关节状态数据与三视角视觉流，为跨模态表征学习提供了实验基础，尤其适用于研究复杂任务中的动作序列生成与场景理解。随着具身智能研究热潮的兴起，此类高维度时序数据已成为验证分层强化学习、元策略迁移等方法的基准，对家庭服务机器人精细操作能力的提升具有显著意义。