AzureSkyRobotics/hks

该数据集是一个机器人学数据集，使用LeRobot工具创建，专注于机械臂控制任务。数据集包含3个完整的情节（episodes），总计2247帧数据，帧率为30fps。数据以parquet文件格式存储，视频以mp4格式存储。数据集的特征包括：动作空间（6个浮点数，表示机械臂的肩部平移、肩部提升、肘部弯曲、腕部弯曲、腕部旋转和夹爪位置）、观测状态（与动作相同的6个关节位置）、来自正面和侧面的图像观测（分辨率为480x640的RGB视频），以及时间戳、帧索引、情节索引、任务索引等元数据。机器人类型为so_follower。数据集适用于机器人控制、模仿学习或强化学习的研究和开发。This dataset is a robotics dataset created using the LeRobot tool, focusing on robotic arm control tasks. It contains 3 complete episodes with a total of 2247 frames at 30 fps. The data is stored in parquet format, and videos are stored in mp4 format. The dataset features include: action space (6 float values representing robotic arm joint positions for shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, and gripper), observation state (the same 6 joint positions), image observations from front and side views (RGB videos with 480x640 resolution), and metadata such as timestamp, frame index, episode index, and task index. The robot type is so_follower. The dataset is suitable for research and development in robot control, imitation learning, or reinforcement learning.

搜集汇总

数据集介绍

构建方式

在机器人学习领域，高质量的演示数据集是驱动行为克隆与模仿学习算法发展的基石。hks数据集由AzureSkyRobotics团队基于LeRobot框架构建，通过遥操作方式采集so_follower机械臂执行单一任务的轨迹数据。数据集包含3个完整片段、共计2247帧，以30帧/秒的采样频率记录，总大小约300MB。数据采用分块存储策略，状态信息与动作指令以Parquet格式的浮点数列存储，涵盖肩部俯仰、肘部弯曲及夹爪位置等6维关节空间数据；同时提供前视与侧视两个视角的AV1编码高清视频流（480×640分辨率），并辅以时间戳与索引标注，确保时序对齐。

使用方法

研究人员可借助LeRobot库快速加载该数据集。通过lerobot.Dataset类实例化时指定仓库路径'hks'与配置名称'default'，即可自动解析元信息并映射至标准特征字典。训练过程中，按episode_index切分轨迹，以frame_index作为帧序控制实现时序采样；支持将action列作为策略输出监督信号，将observation.state与observation.images.*列作为观测输入。可视化工具链中，可使用官方提供的交互式空间（spaces/lerobot/visualize_dataset）直接预览轨迹回放与状态变化。进阶用法可调整chunks_size参数以适配内存约束，或基于video_path模板实现视频帧的按需解码与增强。

背景与挑战

背景概述

在机器人学习领域，模仿学习已成为实现复杂操作行为的关键范式，而高质量演示数据集的匮乏长期制约着算法的泛化能力与鲁棒性。hks数据集由AzureSkyRobotics团队于近期创建，采用LeRobot框架进行标准化采集与处理，聚焦于单机器人臂在特定任务下的动作模仿。该数据集包含3个轨迹片段、共计2247帧时序数据，以30帧/秒的频率记录前、侧双视角视觉影像与6维关节状态信息（位置与夹爪控制），其核心研究问题在于探索基于有限样本的高效策略学习，尤其是如何从稀疏演示中提炼出可复现的操作策略。尽管规模较小，hks为验证模仿学习在低数据量场景下的基础能力提供了标准化基准，对推动轻量化机器人数据集构建方法论具有参考价值。

当前挑战

hks数据集所面对的领域挑战突出体现在两个方面：其一，模仿学习依赖的演示数据通常难以大规模采集，尤其是在真实物理环境中，重复部署机械臂进行上百次演示既耗时又面临磨损风险，导致如hks这类仅有3个轨迹的数据集难以支撑深度策略模型的充分训练，模型容易过拟合或泛化至新初始状态。其二，构建过程中需克服多模态数据的同步与标定难题——高帧率视频（30fps）与关节位姿信号（6维连续值）需严格对齐时间戳，且双摄像头视野差异要求确保动作观测的一致性；此外，受限于parquet分块存储结构，数据加载与预处理效率成为规模化扩展的潜在瓶颈，而当前仅覆盖单一任务（收纳操作）的设定也限制了跨任务迁移学习的研究空间。

常用场景

经典使用场景

在机器人学习领域，hks数据集凭借其精心采集的遥操作数据，成为模仿学习与行为克隆研究的宝贵资源。该数据集记录了SO-Follower机械臂执行单一任务的完整过程，包含2247帧、3个回合的高保真运动信息，通过六维关节空间的动作与状态参数，以及正面和侧面双视角视频流，为研究者提供了从感知到控制的闭环数据。其经典使用场景在于训练机器人通过观测图像序列与当前状态，准确复现人类示教的操作策略，从而在结构化或半结构化环境中完成精密力位混合控制任务。

解决学术问题

hks数据集有效解决了机器人学习中数据稀缺与多模态对齐的学术难题。传统方法常因缺乏高质量、多视角的细粒度动作轨迹而难以泛化，而该数据集通过联合记录6自由度关节指令与同步视频，使得研究者能够探索视觉运动策略的端到端学习范式。它促进了对状态估计误差与动作噪音鲁棒性的量化分析，为构建跨具身形态的通用操作基座提供了标准化验证平台。这一贡献显著推动了从单一任务演示到可迁移策略知识的学术进程。

实际应用

在实际应用层面，hks数据集赋能了工业与服务业轻量级机械臂的智能化部署。基于该数据训练的模型可直接输出关节级位置指令，用于流水线产品的精密抓取与装配操作，同时支持通过遥操作数据快速迁移至新产品线。在装配精度要求严苛的电子元器件插件场景中，其双视角视觉信息与环境状态融合的策略展现了超越传统PID控制的柔顺性，尤其适用于人机协作环境中对安全性与灵活性的双重需求。

数据集最近研究

最新研究方向

在机器人学习领域，hks数据集以高保真度观测数据与精细化的6维动作空间标注，为模仿学习与视觉-动作联合建模开辟了新的实验路径。当前前沿方向聚焦于利用该数据集训练端到端操控策略，特别是在双臂协调与灵巧抓取任务中，探索从单视角与侧视角融合的时空特征提取方法。伴随LeRobot生态的标准化扩展，hks所代表的轻量化、高质量轨迹数据正推动具身智能研究从仿真环境向真实场景迁移，其紧凑的3个episode结构更催生了小样本泛化与元学习范式的创新尝试。该数据集的Apache-2.0许可与可复现的采集框架，显著降低了机器人基础模型研究的准入门槛，为跨场景策略迁移与多任务指令遵循的实证分析提供了关键支撑。