KubeTraining

该数据集是一个机器人控制相关的数据集，使用LeRobot创建。包含50个episodes和26731帧数据，主要记录机器人关节位置（包括肩部平移、肩部抬升、肘部弯曲、腕部弯曲、腕部旋转和夹爪位置）、观测状态以及顶部和侧面视角的视频数据。视频分辨率为480x640，帧率30fps。数据以parquet格式存储，视频为mp4格式。

This is a robotics control-related dataset created using LeRobot. It contains 50 episodes and 26731 frames of data, primarily recording robot joint positions (including shoulder translation, shoulder elevation, elbow flexion, wrist flexion, wrist rotation and gripper position), observation states, as well as video data captured from top and side viewpoints. The videos have a resolution of 480x640 and a frame rate of 30 fps. The dataset is stored in Parquet format, while the video files are in MP4 format.

原始信息汇总

数据集概述

基本信息

• 数据集名称: KubeTraining
• 创建工具: 使用 LeRobot (https://github.com/huggingface/lerobot) 创建
• 许可证: Apache 2.0
• 任务类别: 机器人学
• 标签: LeRobot

数据集规模与结构

• 总情节数: 50
• 总帧数: 26731
• 总任务数: 1
• 数据块大小: 1000
• 数据文件总大小: 100 MB
• 视频文件总大小: 500 MB
• 帧率: 30 FPS
• 代码库版本: v3.0
• 机器人类型: so101_follower
• 数据分割: 训练集 (train) 包含所有50个情节

数据文件路径

• 数据文件路径模式: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件路径模式: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

数据特征

动作特征

• 名称: action
• 数据类型: float32
• 形状: [6]
• 包含的关节位置:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

观测特征

状态观测

• 名称: observation.state
• 数据类型: float32
• 形状: [6]
• 包含的关节位置:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

顶部图像观测

• 名称: observation.images.top
• 数据类型: video
• 形状: [480, 640, 3] (高度, 宽度, 通道)
• 视频信息:
  • 高度: 480
  • 宽度: 640
  • 编解码器: av1
  • 像素格式: yuv420p
  • 是否为深度图: false
  • 帧率: 30
  • 通道数: 3
  • 包含音频: false

侧面图像观测

• 名称: observation.images.side
• 数据类型: video
• 形状: [480, 640, 3] (高度, 宽度, 通道)
• 视频信息:
  • 高度: 480
  • 宽度: 640
  • 编解码器: av1
  • 像素格式: yuv420p
  • 是否为深度图: false
  • 帧率: 30
  • 通道数: 3
  • 包含音频: false

元数据特征

• 时间戳: timestamp (float32, 形状 [1])
• 帧索引: frame_index (int64, 形状 [1])
• 情节索引: episode_index (int64, 形状 [1])
• 索引: index (int64, 形状 [1])
• 任务索引: task_index (int64, 形状 [1])

引用信息

• 主页: 未提供
• 论文: 未提供
• BibTeX 引用格式: 未提供

搜集汇总

数据集介绍

构建方式

在机器人操作领域，高质量的数据集对于算法训练至关重要。KubeTraining数据集依托LeRobot平台构建，通过记录SO101型跟随机器人的实际交互过程，系统采集了50个完整任务片段，涵盖26731帧数据。数据以分块形式存储于Parquet文件中，每块包含1000帧，同时配套视频文件以AV1编码保存，确保信息的高效压缩与完整性。这种结构化采集方式为机器人学习提供了丰富的多模态交互序列。

特点

该数据集的特点在于其多维度的观测与动作表征。观测部分融合了关节状态信息与双视角视觉输入，顶部与侧部摄像头均以480x640分辨率捕捉RGB图像，帧率为30fps。动作空间定义了六自由度机械臂的关节位置控制，包括肩部平移、肩部抬升、肘部弯曲、腕部弯曲、腕部旋转及夹爪开合。数据集中每个样本均附带精确的时间戳、帧索引与任务标识，支持时序分析与任务导向的学习。

使用方法

利用KubeTraining数据集时，研究者可通过LeRobot框架直接加载Parquet格式的数据块，并关联对应的视频文件进行多模态解析。数据集已预设训练集划分，涵盖全部50个任务片段，适用于机器人模仿学习、强化学习及行为克隆等任务。用户可依据帧索引与时间戳对齐状态、图像与动作序列，构建端到端的训练管道，进而提升机器人在复杂环境中的操作能力。

背景与挑战

背景概述

KubeTraining数据集依托于LeRobot开源框架构建，专注于机器人学习领域，旨在为机器人技能训练提供高质量的多模态交互数据。该数据集由HuggingFace社区支持，采用Apache 2.0开源协议，其核心研究问题聚焦于如何通过真实世界或仿真环境中的机器人操作序列，推动机器人模仿学习与强化学习算法的进步。数据集包含50个完整任务片段，涵盖26731帧图像与关节状态数据，通过整合顶部与侧方视角的视频流以及六自由度机械臂的动作轨迹，为机器人行为建模提供了丰富的时空上下文信息，对提升机器人自主操作能力具有重要参考价值。

当前挑战

KubeTraining数据集致力于解决机器人模仿学习中的动作预测与状态估计问题，其核心挑战在于如何从高维视觉与关节状态数据中提取鲁棒的特征表示，以应对真实环境中光照变化、视角差异及物体遮挡等复杂场景。在构建过程中，数据采集面临机械臂控制精度、多传感器同步校准以及大规模视频数据存储与处理的难题，同时需确保动作轨迹的平滑性与任务多样性，以支撑算法在泛化性与实时性方面的苛刻要求。

常用场景

经典使用场景

在机器人学习领域，KubeTraining数据集为模仿学习与强化学习算法的训练提供了关键支持。该数据集通过记录so101_follower型机器人的关节位置、视觉图像及时间戳等多模态数据，构建了丰富的交互轨迹。研究者能够利用这些轨迹训练模型学习从视觉观察到动作映射的策略，从而模拟机器人在真实环境中的操作行为。

衍生相关工作

围绕KubeTraining数据集，衍生出了一系列基于LeRobot框架的机器人学习研究。这些工作专注于改进多模态融合算法、提升策略的样本效率，以及探索跨任务迁移学习。例如，利用该数据集训练视觉-动作联合模型，为后续的机器人模仿学习与强化学习基准测试提供了重要参考，推动了开源机器人社区的技术发展。

数据集最近研究

最新研究方向

在机器人学习领域，视觉-动作数据集正成为推动模仿学习与强化学习融合的关键资源。KubeTraining数据集依托LeRobot平台构建，其多视角视频流与精确关节状态记录，为研究端到端策略学习提供了丰富模态。当前前沿探索聚焦于跨任务泛化能力，学者们利用此类数据训练大规模基础模型，旨在实现单一智能体适应多样化操作场景。热点事件如具身智能的兴起，进一步凸显了高质量仿真与真实世界数据在减少物理试错成本方面的重要意义。该数据集的结构化特征支持高效离线强化学习，有望加速家庭服务机器人等应用的算法迭代与部署进程。