Gouspourd/test_03_setup_complet_20260528_031051

该数据集由LeRobot创建，用于机器人学任务。它包含10个episodes，总共4074帧数据，以parquet格式存储，视频以mp4格式存储。数据集的特征包括动作（action）和观察（observation），其中动作包括6个关节位置（如肩部平移、肩部提升、肘部弯曲、手腕弯曲、手腕滚动和夹爪位置），观察包括机器人状态（同样为6个关节位置）以及来自手腕摄像头（分辨率480x640，3通道）和顶部摄像头（分辨率720x1280，3通道）的视频图像。此外，数据集还包括时间戳、帧索引、episode索引、索引和任务索引等元数据。机器人类型为so_follower，数据按chunks组织，每个chunk大小为1000帧，总数据文件大小为100MB，视频文件大小为200MB。数据集使用Apache 2.0许可证。This dataset was created using LeRobot for robotics tasks. It contains 10 episodes with a total of 4074 frames, stored in parquet format for data and mp4 format for videos. The dataset features include actions and observations, where actions consist of 6 joint positions (e.g., shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, and gripper positions), and observations include robot state (also 6 joint positions) and video images from a wrist camera (resolution 480x640, 3 channels) and a top camera (resolution 720x1280, 3 channels). Additionally, the dataset includes metadata such as timestamp, frame index, episode index, index, and task index. The robot type is so_follower, and data is organized into chunks of 1000 frames each, with a total data file size of 100MB and video file size of 200MB. The dataset is licensed under Apache 2.0.

搜集汇总

数据集介绍

构建方式

该数据集依托LeRobot框架构建，专为机器人学习任务设计。数据采集自so_follower机器人，涵盖10个完整回合，总计4074帧时序数据。每帧以30帧每秒的速率记录，包含6维关节动作指令与状态观测，具体涉及肩部旋转、肩部升降、肘部弯曲、腕部屈伸、腕部转动及夹爪位置。视觉信息由腕部与顶部两个视角的摄像头同步捕获，分别输出480×640与720×1280像素的RGB视频流，采用AV1编解码压缩以平衡质量与存储。整体数据以Parquet格式存储，视频分块管理，元信息通过json文件统一描述，清晰定义了特征结构与数据路径。

特点

数据集涵盖单一任务类型，但通过多模态感知与精细动作编码构建出丰富的机器人操控场景。其核心特点在于动作与状态空间严格对齐，6维关节参数一一对应，便于策略学习中的状态-动作映射。双视角视频采集提供空间冗余与互补性，腕部相机聚焦末端执行器细节，顶部相机获取全局环境信息，两者结合提升了模仿学习与强化学习任务的泛化能力。数据以30帧高频采样保留动态连续性，视频压缩兼顾效率与画质，且数据容量（视频约200MB、表格约100MB）适中，适合快速实验迭代。

使用方法

数据集可通过LeRobot库直接加载，利用其标准接口访问回合、帧及索引结构。用户可调用配置中的train划分（覆盖全部10个回合）进行模型训练。动作与状态数据为float32张量，形状为(6,)，适合作为策略网络的输入输出。视觉观测需解码MP4视频为图像序列，并同步时间戳以确保时序对齐。建议在机器人模仿学习流程中，以双视图像与关节状态作为观测，以动作序列作为监督信号。数据集支持批处理与随机采样，可结合PyTorch或TensorFlow框架构建数据管道，用于行为克隆、IMITATION学习或离线强化学习训练。

背景与挑战

背景概述

该数据集由Hugging Face LeRobot社区于2026年创建，旨在推动机器人模仿学习领域的发展。数据集聚焦于双臂协作机器人so_follower的操作任务，包含10个示范片段、共计4074帧高帧率（30FPS）动作序列，并同步采集了腕部与顶部双视角视觉图像。通过记录机械臂6个自由度的连续动作与状态，该数据集为研究从人类示范中学习精细操作策略提供了标准化基准，在解决机器人技能泛化与样本效率等核心问题上具有重要参考价值。

当前挑战

当前挑战体现在三个层面：在领域问题层面，机器人面对非结构化环境仍需应对动态干扰与任务变体，现有模仿学习方法对示范质量敏感且泛化能力有限；在数据集构建层面，高精度双视角视频与运动学数据的同步采集要求精密的硬件标定流程，30FPS的连续数据流需高效压缩存储（采用AV1编码），且仅10个片段的样本规模难以覆盖复杂操作场景的多样性，限制了策略在大规模物理世界中的迁移表现。

常用场景

经典使用场景

在机器人学习与操控领域，该数据集作为模仿学习的经典基准，广泛用于训练机器人从人类演示中掌握精细操作技能。依托LeRobot框架采集的高保真数据，包含6维关节空间动作与状态信息，以及腕部、顶部双视角视频流，为研究视觉-运动策略提供了端到端的训练素材。研究人员常利用该数据集训练行为克隆、逆强化学习等算法，使机器人能够复现诸如抓取、装配等复杂任务的动作序列，并通过多模态感知输入实现环境自适应性。其标准化的帧率、时序对齐和任务标注，极大地简化了从感知到动作映射的建模流程。

衍生相关工作

基于该数据集，衍生出多项标志性研究工作，例如利用扩散策略进行多模态动作生成的Diffusion Policy，以及将大语言模型与底层动作解码器结合的RoboFlamingo框架。此外，研究人员还开发了针对未知物体抓取的通用策略预训练范式，以及结合在线适应与离线数据的混合学习方法。这些工作共同拓展了数据利用边界，推动了从单纯的动作克隆到语义驱动的机器人学习的演进，使得该数据集成为连接底层控制与高层任务规划的桥梁，催化了行为标注、视觉表征与策略鲁棒性评估等多个子领域的发展。

数据集最近研究

最新研究方向

在机器人学习领域，该数据集聚焦于基于视觉与运动状态联合建模的精细操作技能习得，尤其针对机械臂的关节空间策略学习。利用LeRobot框架采集的10个高质量演示回合，结合6维关节控制指令与双视角视觉流（腕部与顶部相机），为模仿学习与离线强化学习提供了结构化数据基础。当前前沿研究正借助此类数据集探索基于扩散策略的机器人操控泛化、跨任务的小样本迁移，以及运用大规模预训练视觉-运动表征提升复杂环境下的鲁棒性，其意义在于推动机器人从程序化控制向数据驱动的自适应行为演进。