Jusoyoung/hub_dataset_01

该数据集是由LeRobot创建的机器人技术数据集，包含50个episodes，28260帧，100个视频，帧率为60fps。数据集的特征包括动作（6个浮点数）、观察状态（6个浮点数）、来自两个摄像头的图像（480x640x3）、时间戳、帧索引、episode索引等。数据以parquet格式存储，视频以mp4格式存储。This dataset was created using LeRobot for robotics applications. It contains 50 episodes, 28260 frames, and 100 videos with a frame rate of 60fps. The features include actions (6 floats), observation states (6 floats), images from two cameras (480x640x3), timestamps, frame indices, episode indices, etc. The data is stored in parquet format, and videos are stored in mp4 format.

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架精心构建，专注于机器人操控领域。数据采集自一台koch型机器人，共包含50个完整演示片段，总计28260帧画面，帧率高达60fps。所有数据统一划分为单一训练集，无验证与测试拆分，每个演示片段被存储为独立的Parquet文件，并辅以对应视角的MP4视频文件，涵盖了来自camera_04与camera_06两个摄像头的高清影像，确保了数据在结构与存储上的高度一致性与易用性。

特点

数据集在特征维度上呈现精炼且完备的特性。动作与观测状态均由6维浮点向量构成，分别对应机器人肩部、臂部、腕部及夹爪的控制与感知参数。视觉观测方面，提供了两个480×640分辨率、60fps的彩色视频流，并采用AV1编码压缩以平衡质量与存储。此外，数据集记录了精确到帧的时序信息、片段索引与任务标识，支持对机器人行为序列的细粒度分析与建模。

使用方法

数据集的使用高度集成于LeRobot生态系统中。研究者可直接通过LeRobot的API加载数据，自动解析Parquet中的状态、动作及视频流，并依据预设的60fps时间戳对齐多模态信息。由于所有片段均属于同一任务，免除了任务分类的预处理步骤，适合作为行为克隆、模仿学习或机器人运动规划算法的直接训练输入，亦可用于验证端到端操控策略的泛化性能。

背景与挑战

背景概述

该数据集诞生于机器人学习领域对高质量、标准化数据日益增长的需求之际，由Hugging Face团队基于LeRobot框架创建，旨在为机器人操作学习提供基准资源。数据集收录了50个示范片段的28260帧时序数据，聚焦于koch型机械臂的六自由度运动控制任务，涵盖了动作序列、关节状态及多视角视觉观测，以60帧/秒的采样频率精细记录操作轨迹。其开放Apache-2.0许可证与Hugging Face生态的深度融合，为后续机器人学习研究提供了可复现、可扩展的数据基础，推动了模仿学习与离线强化学习在该领域的范式发展。

当前挑战

当前机器人学习面临的核心挑战在于从有限示范中泛化至复杂动态环境，该数据集所针对的六维关节空间控制虽能精确刻画机械臂运动，但单一任务场景下的50个片段难以覆盖非结构化环境中的状态差异与干扰噪声。构建过程中需平衡高帧率视觉数据（AV1编码，480×640分辨率）的存储效率与信息保真度，同时确保多相机观测与动作序列的毫秒级时间对齐，这对数据采集同步系统与后处理流水线提出了严苛要求。

常用场景

经典使用场景

在机器人学习研究领域，hub_dataset_01 作为采用 LeRobot 框架构建的多模态数据集，其经典使用场景聚焦于模仿学习与技能迁移。该数据集记录了 Koch 机械臂在特定任务下的 50 条完整轨迹，包含每秒 60 帧的高频 6 维关节状态与动作序列，以及两个摄像头视角的高清视觉数据。研究者可借此构建行为克隆、逆强化学习或基于视觉的运动策略模型，利用动作、状态与图像之间的时空耦合关系，训练机器人从人类演示中习得精细操作能力。数据集规范的 parquet 与视频存储格式，为多模态时序数据的加载与批处理提供了标准化接口，显著降低了复现经典算法或验证新框架的门槛。

实际应用

在实际应用中，hub_dataset_01 为工业自动化与柔性制造场景的中小批量生产提供了演示驱动的编程范式。机械臂执行器如 Koch 的六自由度臂，可基于数据集训练的模型快速切换装配、分拣或精密定位任务，无需传统的手工示教或代码调参。借助两路摄像头的视觉反馈，这类数据集支撑起远程操控、人机协作中的自适应监控，或通过在线微调适应零件公差变化。此外，其公开许可协议（Apache-2.0）降低了企业验证自主决策系统的法律风险，加速了从算法原型到产线部署的技术转化周期。

衍生相关工作

围绕 hub_dataset_01 衍生的经典工作主要集中在三个方向：基于 LeRobot 框架的多任务策略蒸馏、视频预测驱动的无模型控制，以及多模态表示学习在跨平台迁移中的应用。研究者常将此类数据集作为基础测试床，设计出像 ACT（Action Chunking with Transformers）或 Diffusion Policy 等生成式动作规划方法，这些方法进一步被扩展到包含动态环境干扰的变体数据集上。同时，该数据集的结构化元信息（如 FPS、关节名称）催生了针对时间序列对齐与片段分割的专项研究。这些工作共同勾勒出一条从原始轨迹到通用操作技能的演进脉络，成为具身智能社区积累可复用经验和基准的重要支点。