salmonHan/record-test_20260528_004905

该数据集使用LeRobot创建，包含机器人操作数据。数据集结构包括1个episode，总计1797帧，帧率为30fps。数据以parquet文件格式存储，视频以mp4格式存储。机器人类型为so_follower。数据集特征包括：动作（action），包含6个关节位置（肩部平移、肩部抬升、肘部弯曲、腕部弯曲、腕部旋转、夹爪位置）；观测状态（observation.state），同样包含6个关节位置；前视图像（observation.images.front），为720x1280分辨率、3通道的视频数据；以及时间戳、帧索引、episode索引、索引和任务索引等元数据。数据分割为训练集（train），覆盖所有数据。This dataset was created using LeRobot and contains robotic manipulation data. The dataset structure includes 1 episode, with a total of 1797 frames at 30 fps. Data is stored in parquet files, and videos are stored in mp4 format. The robot type is so_follower. Dataset features include: action, consisting of 6 joint positions (shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, gripper position); observation state, also with 6 joint positions; front observation images, which are video data at 720x1280 resolution with 3 channels; and metadata such as timestamp, frame index, episode index, index, and task index. The data split is for training (train), covering all data.

搜集汇总

数据集介绍

构建方式

本数据集依托于LeRobot框架构建而成，专为机器人学习领域设计。数据集包含单一任务序列，共计1个回合（episode）与1797帧（frames）数据，采样频率为30帧每秒。数据以Parquet格式存储于`data/*/*.parquet`路径下，并同步收录了前视摄像头采集的视频文件，视频分辨率高达1280×720像素，采用AV1编码格式。数据集结构遵循LeRobot v3.0规范，将训练与测试集按照0:1的比例划分，确保数据完整性。

特点

该数据集的核心特点在于其多模态融合的精细化设计。特征空间涵盖了6维动作指令与观测状态，均以浮点型记录，明确标注了关节名称（如shoulder_pan.pos与gripper.pos）。视觉模态以高质量视频形式呈现，像素格式为yuv420p，且明确标记为非深度图。同时，系统记录了时间戳、帧索引与回合索引等元数据，便于时序分析。整体数据量均衡，100MB的表格数据与200MB的视频文件互为补充，适用于模仿学习与策略训练研究。

使用方法

用户可通过LeRobot工具链的`visualize_dataset`空间直接预览数据，或利用其Python API加载并解析Parquet文件与视频流。使用时需调用`lerobot.Dataset`类，指定数据集标识符`salmonHan/record-test_20260528_004905`即可自动获取特征结构。建议用户依据`info.json`中的`features`定义，结合`observation.state`与`action`字段进行行为克隆模型训练，并利用`observation.images.front`作为视觉输入。数据加载过程中需注意视频编解码器兼容性，确保环境支持AV1格式。

背景与挑战

背景概述

该数据集由salmonHan于2026年5月28日创建，采用LeRobot框架生成，旨在为机器人学习领域提供标准化的操作数据。数据集基于so_follower机器人平台，记录了一段包含1797帧、持续约60秒的操作流程，涵盖了6自由度关节状态和第一视角视觉信息。其核心研究问题聚焦于如何利用真实机器人演示数据训练稳健的模仿学习模型，以提升机械臂在精细操作任务中的泛化能力。作为开源资源，该数据集在碎片化机器人数据生态中承担着标准化示范角色，有助于推动机器人学习社区在数据共享与模型复现方面的进展。

当前挑战

领域挑战方面，机器人操作数据面临样本效率低下与跨场景泛化困难的核心问题，现有的单任务、单环境数据集难以支撑多任务学习与零样本迁移的需求。构建挑战上，数据集仅包含一个任务和单次演示，规模极小且缺乏动作变异性，可能导致模型过拟合于具体轨迹；同时，视频数据采用AV1编码与720p高分辨率，虽提供了丰富视觉细节，却显著增加了存储与传输成本，对低频传感器融合和多视角扩展带来潜在瓶颈。

常用场景

经典使用场景

在机器人学习与智能控制领域，数据驱动的模仿学习范式日益成为核心方法论。该数据集作为基于LeRobot框架采集的机器人操作轨迹数据，最经典的用途在于训练高精度的视觉运动策略。数据集中包含了从单一任务中采集的1797帧连续动作序列，每个时间步都记录了六自由度机械臂的关节状态与对应的控制指令，同时配备了720p分辨率的前视摄像头视频流。研究者可借此构建端到端的模仿学习模型，通过观察图像与状态信息，预测并复现精确的机械臂运动轨迹，从而完成如抓取、装配等精细化操作任务。

解决学术问题

该数据集精准回应了机器人学中‘从示范中学习’这一关键学术命题。传统方法通常依赖显式编程或物理建模来规划复杂任务，但在非结构化环境中往往泛化能力不足。本数据集提供了一个标准化、高帧率的遥操作示范样本，使得研究者能够系统性地探究低维关节状态与高维视觉特征之间的映射关系。它有效支撑了关于策略泛化性、数据效率以及长时域动作连贯性的理论验证，为迁移学习、元学习以及多任务强化学习等前沿方向提供了可复现的基准实验平台。

衍生相关工作

围绕此类遥操作机器人数据集，学术界已涌现出一系列具有里程碑意义的衍生工作。基于LeRobot框架，研究者开发了多种高效的行为克隆算法与扩散策略模型，如用于学习多模态动作分布的Conditional Diffusion Policies。此外，该数据集为‘模仿学习+强化学习’两阶段训练范式提供了验证基石，衍生出如IBC（Implicit Behavior Cloning）和Action Chunking with Transformers（ACT）等经典方法。这些工作不仅在模拟环境中取得了突破，更在真实机械臂平台上展示了从少量示范中泛化学习复杂技能的潜力。