AzureSkyRobotics/after

该数据集是一个机器人学习数据集，使用LeRobot工具创建。数据集包含3个训练集，总计2247帧数据，采样频率为30fps。数据采用Apache 2.0许可证。数据集针对机器人任务设计，机器人类型为so_follower。数据集包含多个特征：动作数据（包含6个关节位置：肩部平移、肩部提升、肘部弯曲、腕部弯曲、腕部旋转和夹爪位置）、观测状态数据（与动作相同的6个关节位置）、两个视角的图像观测（正面和侧面，均为480x640分辨率、3通道的RGB视频，采用AV1编码）、时间戳、帧索引、集索引、索引和任务索引。数据以parquet格式存储，视频以mp4格式存储。

This dataset is a robotics learning dataset created using the LeRobot tool. It contains 3 training episodes with a total of 2247 frames at a sampling rate of 30fps. The dataset is licensed under Apache 2.0. It is designed for robotics tasks with a robot type of so_follower. The dataset includes multiple features: action data (containing 6 joint positions: shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, and gripper position), observation state data (same 6 joint positions as actions), image observations from two perspectives (front and side, both 480x640 resolution, 3-channel RGB video with AV1 encoding), timestamp, frame index, episode index, index, and task index. Data is stored in parquet format, and videos are stored in mp4 format.

搜集汇总

数据集介绍

构建方式

在机器人学习领域，高质量的动作数据是推动具身智能发展的基石。after数据集由AzureSkyRobotics团队基于LeRobot框架构建，聚焦于so_follower型机器人的操作任务。数据集以3个完整episode、总计2247帧的规模呈现，所有数据均以parquet格式存储于chunk分块中，并辅以AV1编码的视频文件（480×640分辨率）。每帧均记录六维关节动作（包含肩部、肘部、腕部及夹爪位置）、对应观察状态、时间戳及索引信息，通过结构化编码确保数据对齐。训练集划分覆盖全部episode，默认以30 FPS的采样频率保证时序连续性。

特点

该数据集的核心特色在于其精细化的多模态同步记录能力。每个时间步均包含6维float32类型的动作指令与机器人自身状态观测，二者维度一致，便于直接进行模仿学习中的行为克隆分析。视觉模态方面，front与side两个角度的相机以30 FPS采集彩色图像，且视频元数据明确标注了非深度图特性与AV1编码格式，为视觉策略训练提供了标准化输入。此外，数据切片采用1000帧的chunk_size设计，在兼顾存储效率的同时保留了完整episode的时序结构，尤其适合用于离线强化学习中的轨迹回放与策略评估。

使用方法

使用者依托LeRobot生态可便捷地加载与交互本数据集。通过HuggingFace提供的可视化Space，可直接查看样本序列。在代码中，建议基于LeRobot的Dataset类进行数据载入，示例使用data_files=glob('data/*/*.parquet')模式匹配所有分块文件。加载后，可依据features定义提取action与observation.state进行策略网络训练，或将front和side图像输入视觉编码器。由于已预设train split索引0:3，可直接划分训练集。如需复现实验结果，推荐按照info.json中的特征维度设计模型输入层，并注意视频帧的AV1解码依赖，建议安装支持的编解码库。

背景与挑战

背景概述

随着机器人学习领域的迅速发展，模仿学习作为一种使机器人通过观察人类演示来获取技能的有效范式，正受到广泛关注。在此背景下，LeRobot社区推出了名为“after”的数据集，旨在为机器人操控任务提供标准化训练资源。该数据集由AzureSkyRobotics机构创建，遵循Apache-2.0开源协议，采用LeRobot框架构建，核心研究问题聚焦于如何通过多模态观测数据（包括状态和视觉信息）推动机械臂的精确操控学习。数据集包含3个演示片段、2247帧图像及6维关节动作空间，覆盖了从肩部到夹爪的全方位控制，为机器人从示范中学习复杂操控策略提供了基础性数据支撑，推动了模仿学习在机器人领域的技术迭代与标准化进程。

当前挑战

该数据集所解决的领域核心挑战在于如何高效学习机器人操控任务的柔顺性和泛化能力。传统方法难以从少量演示中提取稳定策略，易受环境干扰。数据集的构建挑战亦十分突出：首先，数据规模有限，仅含3个片段，难以覆盖动作变异性，需依赖高级算法进行数据增强；其次，多模态对齐困难，高帧率视频（30fps）与稀疏状态数据需严格同步，且360°视觉冗余导致特征提取复杂；再次，机械臂高自由度（6维）与精密夹爪控制要求低延迟响应，而历史帧依赖性强，需平衡记忆深度与计算效率；最后，缺乏真实物理交互校正，仿真数据的迁移鲁棒性存疑，对零样本泛化构成严峻考验。

常用场景

经典使用场景

在机器人学习领域，数据集的构建与质量直接决定了算法模型的泛化能力与鲁棒性。after数据集专为模仿学习与行为克隆任务设计，其核心使用场景聚焦于机械臂的精细操作技能习得。该数据集记录了so_follower型号机械臂在执行单一任务时的完整轨迹，包含2247帧高保真时序数据，以30帧每秒的同步率采集了关节角度状态、六维动作指令以及前后双视角视觉图像。研究者可借助这些数据训练端到端的策略网络，使机器人从示范中学会将视觉观测映射为精确的关节运动，从而复现诸如抓取与放置等基础操作行为。

实际应用

在工业与家庭服务场景中，机械臂的快速部署与自适应操作是实际应用的痛点。after数据集所蕴含的技术范式可直接迁移至自动分拣、精密装配及辅助协作等任务。例如，在电子产品组装的流水线上，工厂可借助该数据集训练的模型让机械臂学习从传送带上精准拾取微小元件；在康复辅助领域，该数据集为开发能通过视觉感知环境并自主调整力度的陪护机器人提供了关键训练素材，从而在非结构化环境中实现安全且高效的人机交互。

衍生相关工作

围绕after数据集的特性，学术界与工业界已衍生出一系列具有启发性的工作。建立在LeRobot框架之上，研究者们基于该数据集探索了多种先进的模仿学习范式，如基于扩散策略的动作生成方法，以提升生成轨迹的平滑度与多样性。此外，该数据集激发了关于跨视角视觉表征对齐的研究，如何利用前后双摄像头信息优化策略对空间布局的感知能力成为热点。部分工作还尝试利用该数据集中的时序信息预训练大规模视觉编码器，进而迁移到其他未见的机械臂构型上，探索通用机器人学习的边界。