salmonHan/record-test_20260528_005844

该数据集是一个机器人学数据集，使用LeRobot工具创建，专门用于so_follower机器人类型。数据集包含1个任务、1个剧集和1797帧数据，数据以30帧每秒的帧率采集，总数据文件大小为100MB，视频文件大小为200MB。数据集结构包括动作特征（如肩部、肘部、腕部和夹爪的位置）、观察状态特征（与动作特征相同）、前视图像观察（分辨率为720x1280的RGB视频）、时间戳、帧索引、剧集索引、索引和任务索引等。所有数据以Parquet格式存储，并分割为训练集。This dataset is a robotics dataset created using the LeRobot tool, specifically designed for the so_follower robot type. It contains 1 task, 1 episode, and 1797 frames, collected at a frame rate of 30 frames per second, with a total data file size of 100MB and video file size of 200MB. The dataset structure includes action features (such as positions of shoulder, elbow, wrist, and gripper), observation state features (same as action features), front image observations (RGB video with a resolution of 720x1280), timestamp, frame index, episode index, index, and task index. All data is stored in Parquet format and split into a training set.

搜集汇总

数据集介绍

构建方式

record-test_20260528_005844数据集基于LeRobot框架构建，专为机器人模仿学习任务设计。该数据集通过采集单条任务轨迹形成，共计包含1797帧时序数据，以每秒30帧的速率记录。数据以结构化格式存储，其中动作与观测状态均以6维浮点向量表示，涵盖肩关节、肘关节、腕关节及夹爪的位姿信息。视觉观测通过前置摄像头以AV1编码的1280×720分辨率视频流形式收录，并辅以时间戳与索引帧等元数据。整体数据被分割为1000帧大小的块，以Parquet与MP4格式分别存储数值与视频信息，保障了高效读取与扩展性。

特点

该数据集的核心特点在于其简洁而规范的机器人操作数据格式，适用于基于状态的策略学习。它统一了动作（action）与观测状态（observation.state）的六自由度关节空间表达，便于模型建立状态到动作的直接映射。单条长轨迹（1797帧）为时序建模提供了丰富样本，适合验证序列决策算法。数据集遵循LeRobot标准的v3.0代码规范，并包含完整的视频观测，对于融合视觉与运动信息的模仿学习研究具有天然适配性。此外，Apache-2.0许可协议促进了学术与工业界的开放共享与复现。

使用方法

用户可通过LeRobot库加载该数据集，利用其提供的DataLoader直接读取Parquet文件中的状态与动作序列，并同步解码AV1视频为图像帧。数据集预置了训练集划分（0:1），适用于单任务模仿学习训练流程。使用时，开发者可基于`action`与`observation.state`字段构建状态转移对，或以`observation.images.front`作为视觉输入，设计端到端策略网络。配合`frame_index`与`timestamp`字段，还可实现时序对齐、数据滤波或重采样等预处理操作，以适配不同算法框架的需求。

背景与挑战

背景概述

该数据集由salmonHan机构于2025年5月28日创建，利用LeRobot框架生成，专注于机器人操作任务的学习与研究。数据集围绕六自由度机械臂“so_follower”的精细操控展开，包含单条轨迹、1797帧高分辨率视觉与状态动作序列，旨在为基于模仿学习的机器人技能获取提供标准化数据支撑。作为机器人领域内新兴的数据资源，它致力于解决从人类演示中高效学习复杂操作策略的核心问题，有望推动具身智能在非结构化环境中的泛化与部署。

当前挑战

当前机器人学习面临的核心挑战在于如何从有限的高质量演示中提取可迁移的技能表征，该数据集以单条轨迹数据回应了数据高效学习的需求，但其规模限制了模型对多样场景的鲁棒性。构建过程中的挑战包括确保机械臂动作与视觉观测的精确时间同步，以及在高帧率（30fps）下维持视频编码（AV1）与状态记录的一致性。此外，传感器噪声的抑制、手眼标定的误差补偿以及开放环境下光照与背景的干扰，均为数据采集与预处理阶段需要克服的技术难题。

常用场景

经典使用场景

在机器人学习研究领域，该数据集专注于模仿学习中的精细操作任务，尤其是机械臂的末端轨迹跟踪与抓取控制。其数据包含六自由度关节角度（如肩部、肘部、腕部及夹爪）的完整时序动作，并同步记录高分辨率视觉观测（1280×720分辨率，30fps帧率）。研究者可基于此开展行为克隆、逆强化学习等经典算法实验，通过将状态映射至动作空间，训练机器人复现演示中的操作策略。此外，该数据集为多模态融合方法提供了理想平台——视觉与本体感知信息的结合，使其成为验证端到端控制范式的标准测试基准。

解决学术问题

该数据集精准回应了机器人操作中‘从示范到泛化’的核心学术难题。传统方法在小样本下易产生策略过拟合，而该数据通过结构化采集真实操作轨迹，为研究跨姿态、跨场景的鲁棒迁移提供了可靠数据基础。其定义的6维动作空间（含夹爪控制）与高帧率视觉流，支撑了时序建模（如Transformer策略）、注意力机制与视觉运动解耦等前沿探索。数据集还推动了‘感知-行动’闭环的量化评估，使学者能够系统性地解构示范噪声、传感器延迟及动力学不确定性的影响，为提出更优范式的机器学习模型铺平道路。

衍生相关工作

该数据集的发布直接催生了若干具有影响力的后续工作。在算法层面，基于其轨迹数据涌现出一系列‘少样本模仿学习’改进模型，如引入对比学习增强视觉表征的Mixture-of-Experts策略，以及融合扩散概率模型生成连续动作分布的D4RL扩展版本。在工程实现上，社区围绕LeRobot框架建立了标准化评估协议，衍生出基于该数据的‘机器人操作排行榜’，用于对比行为克隆、隐式BC（Behavior Cloning）及ACT（Temporal Action Consistency）等方法的性能。跨数据集迁移研究亦借助其结构化标注，验证了预训练模型在不同机器人平台（如从SO-Follower到Allegro Hand）间的零样本适配能力。